一種機器視覺輔助腦電目標判決的方法
【專利摘要】本發明公開了一種機器視覺輔助腦電目標判決的方法，克服了現有技術中，因目標圖像的具體含義會導致P300成分潛伏期的變化導致單試次P300檢測算法精度下降的問題。該發明步驟（1）、通過腦電信號采集設備收集被試的腦電信號；步驟（2）、確定被試P300成分潛伏期的變化誤差；步驟（3）、通過P300成分定位目標圖像在圖像序列中的位置；步驟（4）、結合步驟（2）中確定的潛伏期變化誤差與步驟（3）中單試次檢測算法確定的目標圖像位置，確定目標備選圖像；步驟（5）、使用機器視覺對目標備選圖像進行識別歸類，并統計圖像出現最多的類別作為被試所關注的目標圖像類別。該技術具有高準確率、低虛警率。
【專利說明】
一種機器視覺輔助腦電目標判決的方法
技術領域
[0001]該發明涉及一種結合機器視覺與腦電信號的圖像檢索的方法，特別是涉及一種機器視覺輔助腦電目標判決的方法。
【背景技術】
[0002]在圖像檢索技術中，如何找到一個特定的圖像是一個難題。人腦經過自然的演化，對圖像具有快速深刻的把握能力。在現有的圖像檢索技術中引入人腦的視覺系統，改善圖像檢索的結果，是目前圖像檢索系統中一個研究方向。利用快速序列呈現范式(RSVP)呈現圖片，圖片以每秒5?12張的速度快速呈現給被試，被試觀看這些圖片，同時采集被試在觀看圖片時產生的腦電信號。當被試看到感興趣的目標圖片時會在腦電中誘發一種特定的成分:P300成分。P300成分是人腦綜合處理信息后的結果。P300成分的出現意味著人腦剛剛觀測到一個所關注、所在意的事件的發生。我們給被試觀看一系列圖像，通過監測腦電信號中的P300成分，來判斷圖像是否為所關心的目標圖像。再此基礎上融合計算機視覺的研究成果，就能將人腦的形象、抽象思維能力和計算機高速穩定的計算執行能力有機結合，獲得更理想的圖像檢索效果。
[0003]而在基于腦電的圖像檢索技術中，一個核心問題是被試在關注不同目標時激發的P300成分是有所不同的，主要可以體現最大峰值與潛伏期(目標出現到腦電最大峰值的時間)的變動。當前解決這一問題的方法是通過改良單試次腦電(被試只看一次圖像產生的腦電信號)的P300檢測算法來提高P300成分檢測精度。實際應用中，被試觀看圖像的速度在每秒5?12張之間，單試次的P300檢測算法可以通過檢測P300的位置來確定目標圖像的位置。然而由于P300潛伏期的變化會導致確定目標圖像的位置具有一個誤差，目標圖像會在在某一范圍內。在這里我們將這一范圍內的所有圖像作為目標備選圖像提取出來，通過機器視覺技術判決出這些目標備選圖像中最有可能的目標圖片。

【發明內容】

[0004]本發明克服了現有技術中，由于目標圖像的具體含義會導致P300成分潛伏期的變化導致單試次P300檢測算法精度下降的問題，提供一種高準確率、低虛警率的機器視覺輔助腦電目標判決的方法。
[0005]本發明的技術解決方案是，提供一種具有以下步驟的機器視覺輔助腦電目標判決的方法:含有以下步驟，步驟(1)、在被試觀看RSVP圖像序列的同時，通過腦電信號采集設備收集被試的腦電信號;步驟(2)、通過目標圖像所對應的腦電信號，確定被試P300成分潛伏期的變化誤差;步驟(3)、使用單試次P300檢測算法，對被試觀看圖像產生的腦電信號檢測P300成分，并通過P300成分定位目標圖像在圖像序列中的位置;步驟(4)、結合步驟(2)中確定的潛伏期變化誤差與步驟(3)中單試次檢測算法確定的目標圖像位置，確定目標備選圖像;步驟(5)、使用機器視覺對目標備選圖像進行識別歸類，并統計圖像出現最多的類別作為被試所關注的目標圖像類別。
[0006]所述步驟(I)中采集設備收集數據的方法為:使用專用的腦電儀，采集被試觀看圖片時的腦電信號，信號的采樣頻率為256Hz，圖像序列呈現速度為每秒呈現5張圖像。
[0007]所述步驟(2)中被試P300成分潛伏期變化誤差的確定方法為，通過對被試觀看不同目標類別圖像所產生的腦電信號進行均值操作來確定被試在關注不同目標時所激發的P300潛伏期，進而由最大潛伏期減去最小潛伏期來確定被試的潛伏期變化誤差。
[0008]所述步驟(3)中單試次P300檢測算法為HDCA算法、sHDCA算法。
[0009]所述步驟(4)中確定目標備選圖像的方法為:假設該名被試的潛伏期變化為誤差為300ms，則由P300成分的確定的目標圖像位置可能在真正目標圖像的前一圖像或后一圖像，圖像每張呈現200ms，則將P300成分定位的目標圖像位置附近3張圖像作為目標備選圖像取出。
[0010]所述步驟(5)中識別歸類的方法為:采用caffe卷積神經網絡框架在Caltech-256圖像集中訓練獲得的模型。
[0011]與現有技術相比，本發明機器視覺輔助腦電目標判決的方法具有以下優點:本方法提供了一個結合機器視覺系統與腦電目標識別系統的框架，在該框架下基于腦電P300成分的目標識別系統可以借助機器視覺相關技術克服被試在不同狀態下觀看不同目標圖像時P300成分的差異，有效提高目標識別精度，并且機器視覺可以在腦電識別的基礎上精確確定目標圖像。使用本方法進行目標圖像檢索能夠在效果上比以往方法有較大的改進。
【附圖說明】
[0012]圖1是本發明機器視覺輔助腦電目標判決的方法的流程示意圖；
[0013]圖2是本發明機器視覺輔助腦電目標判決的方法的原理示意圖；
[0014]圖3是本發明機器視覺輔助腦電目標判決的方法中腦電信號中P300成分變動示意圖；
[0015]圖4是本發明機器視覺輔助腦電目標判決的方法中RSVP系統腦機融合目標圖像識別完整流程示意圖。
【具體實施方式】
[0016]下面結合附圖和【具體實施方式】對本發明機器視覺輔助腦電目標判決的方法作進一步說明:含有以下步驟，步驟(I)、在被試觀看RSVP圖像序列的同時，通過腦電信號采集設備收集被試的腦電信號;步驟(2)、通過目標圖像所對應的腦電信號，確定被試P300成分潛伏期的變化誤差;步驟(3)、使用單試次P300檢測算法，對被試觀看圖像產生的腦電信號檢測P300成分，并通過P300成分定位目標圖像在圖像序列中的位置;步驟(4)、結合步驟(2)中確定的潛伏期變化誤差與步驟(3)中單試次檢測算法確定的目標圖像位置，確定目標備選圖像;步驟(5)、使用機器視覺對目標備選圖像進行識別歸類，并統計圖像出現最多的類別作為被試所關注的目標圖像類別。
[0017]所述步驟(I)中采集設備收集數據的方法為:使用專用的腦電儀，采集被試觀看圖片時的腦電信號，信號的采樣頻率為256Hz，圖像序列呈現速度為每秒呈現5張圖像。
[0018]所述步驟(2)中被試P300成分潛伏期變化誤差的確定方法為，通過對被試觀看不同目標類別圖像所產生的腦電信號進行均值操作來確定被試在關注不同目標時所激發的P300潛伏期，進而由最大潛伏期減去最小潛伏期來確定被試的潛伏期變化誤差。
[0019]所述步驟(3)中單試次P300檢測算法為HDCA算法、sHDCA算法或其他類似功能的腦電P300檢測算法。
[0020]所述步驟(4)中確定目標備選圖像的方法為:假設該名被試的潛伏期變化為誤差為300ms，則由P300成分的確定的目標圖像位置可能在真正目標圖像的前一圖像或后一圖像(圖像呈現200ms)，則將P300成分定位的目標圖像位置附近3張圖像作為目標備選圖像取出。
[0021]所述步驟(5)中識別歸類的方法為:采用caffe卷積神經網絡框架在Caltech-256圖像集中訓練獲得的模型，或使用其他具備圖像歸類的識別算法或模型。
[0022]如圖所示，實施例中，我們首先給被試快速呈現一系列圖像，呈現速度為5張圖像每秒，要求被試關注某一類的圖像(如:熊貓)。同時采集被試觀看圖像時自然產生的腦電信號。通過統計被試關注目標圖像時產生P300成分的潛伏期，確定該名被試的潛伏期變化誤差(變化誤差由最遲潛伏期減去最短潛伏期獲得，一般被試潛伏期誤差在200ms?300ms之間)。假設該名被試的潛伏期變化誤差為300ms，則由P300成分確定的目標圖像位置可能在真正目標圖像的前一圖像或后一圖像(圖像呈現200ms)。因此我們將P300成分定位目標圖像位置附近3張圖像作為目標備選圖像取出。如此但目標備選圖像積累到一定程度，并使用機器視覺的方法識別圖像類別，并統計圖像出現次數最多的類別，確定為被試感興趣的目標圖像。
[0023]本方法基于Matlab平臺與C++語言，實現設備設備處理器為Intel(R)Core(TM)2i7-2630QM CPU，主頻2.0OGHz，內存4.0GB，系統為Windows 7 64bit。
【主權項】
1.一種機器視覺輔助腦電目標判決的方法，其特征在于:含有以下步驟， 步驟(I)、在被試觀看RSVP圖像序列的同時，通過腦電信號采集設備收集被試的腦電信號； 步驟(2)、通過目標圖像所對應的腦電信號，確定被試P300成分潛伏期的變化誤差； 步驟(3)、使用單試次P300檢測算法，對被試觀看圖像產生的腦電信號檢測P300成分，并通過P300成分定位目標圖像在圖像序列中的位置； 步驟(4)、結合步驟(2)中確定的潛伏期變化誤差與步驟(3)中單試次檢測算法確定的目標圖像位置，確定目標備選圖像； 步驟(5)、使用機器視覺對目標備選圖像進行識別歸類，并統計圖像出現最多的類別作為被試所關注的目標圖像類別。2.根據權利要求1所述的機器視覺輔助腦電目標判決的方法，其特征在于:所述步驟(1)中采集設備收集數據的方法為:使用專用的腦電儀，采集被試觀看圖片時的腦電信號，信號的采樣頻率為256Hz，圖像序列呈現速度為每秒呈現5張圖像。3.根據權利要求1所述的機器視覺輔助腦電目標判決的方法，其特征在于:所述步驟(2)中被試P300成分潛伏期變化誤差的確定方法為，通過對被試觀看不同目標類別圖像所產生的腦電信號進行均值操作來確定被試在關注不同目標時所激發的P300潛伏期，進而由最大潛伏期減去最小潛伏期來確定被試的潛伏期變化誤差。4.根據權利要求1所述的機器視覺輔助腦電目標判決的方法，其特征在于:所述步驟(3)中單試次P300檢測算法為HDCA算法、sHDCA算法。5.根據權利要求1所述的機器視覺輔助腦電目標判決的方法，其特征在于:所述步驟(4)中確定目標備選圖像的方法為:假設該名被試的潛伏期變化為誤差為300ms，則由P300成分的確定的目標圖像位置可能在真正目標圖像的前一圖像或后一圖像，圖像每張呈現200ms，則將P300成分定位的目標圖像位置附近3張圖像作為目標備選圖像取出。6.根據權利要求1所述的機器視覺輔助腦電目標判決的方法，其特征在于:所述步驟(5)中識別歸類的方法為:采用caffe卷積神經網絡框架在Caltech-256圖像集中訓練獲得的模型。
【文檔編號】G06K9/62GK105825225SQ201610139386
【公開日】2016年8月3日
【申請日】2016年3月11日
【發明人】童莉, 曾穎, 林志敏, 王林元, 陳健, 張馳, 王彪, 蔣靜芳, 巫群健
【申請人】中國人民解放軍信息工程大學