消化道病灶圖像識別系統(tǒng)及識別方法
【專利摘要】本發(fā)明公開了一種消化道病灶圖像識別系統(tǒng)，它包括存儲器、圖像預(yù)處理模塊、圖像特征提取模塊、機器學(xué)習(xí)模塊和圖像識別模塊，其中，所述存儲器的存儲數(shù)據(jù)通信端連接圖像預(yù)處理模塊的數(shù)據(jù)輸入端，圖像預(yù)處理模塊的數(shù)據(jù)輸出端連接圖像特征提取模塊的數(shù)據(jù)輸入端，圖像特征提取模塊的第一數(shù)據(jù)輸出端連接機器學(xué)習(xí)模塊的數(shù)據(jù)輸入端，圖像特征提取模塊的第二數(shù)據(jù)輸出端連接圖像識別模塊的第一數(shù)據(jù)輸入端，機器學(xué)習(xí)模塊的數(shù)據(jù)輸出端連接圖像識別模塊的第二數(shù)據(jù)輸入端。本發(fā)明提高了消化道病灶圖像識別的效率和準確性。
【專利說明】
消化道病灶圖像識別系統(tǒng)及識別方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及圖像識別和圖像處理技術(shù)領(lǐng)域，具體地指一種消化道病灶圖像識別系 統(tǒng)及識別方法。
【背景技術(shù)】
[0002] 使用膠囊內(nèi)窺鏡進行胃部的檢測，可以使人們擺脫采用傳統(tǒng)胃鏡帶來的痛苦與不 適，是胃鏡發(fā)展的一個全新方向。在用膠囊內(nèi)鏡進行胃部檢測的過程中，一次檢查會產(chǎn)生幾 千張圖片，如果加上小腸檢測，檢查的圖片數(shù)將超過50000張，未來隨著膠囊圖像傳輸幀率 的提高及功耗的進一步下降會產(chǎn)生更多的圖像數(shù)據(jù)。圖像數(shù)據(jù)的增加將會增加人工閱片的 時長和難度。
[0003] 中國科學(xué)院深圳先進技術(shù)研究院的專利CN103984957A，發(fā)明了一種膠囊內(nèi)鏡圖像 可疑病變區(qū)域自動預(yù)警系統(tǒng)，實現(xiàn)了對小腸平坦性病變實現(xiàn)檢測和預(yù)警功能。該方案存在 如下五點缺點：
[0004] 1、沒有涉及胃部圖像的病灶識別和處理，因而沒有考慮到消化道圖像中氣泡、雜 質(zhì)等特征對病灶識別的影響；
[0005] 2、沒有考慮膠囊內(nèi)鏡圖像的旋轉(zhuǎn)，因而沒有提取內(nèi)鏡圖像的旋轉(zhuǎn)不變特征進行病 灶的識別；
[0006] 3、對于非平坦性病變?nèi)缒[瘤、息肉等也沒有給出識別方法；
[0007] 4、沒有用去冗余算法減少膠囊內(nèi)鏡圖像數(shù)量；
[0008] 5、沒有提出對全消化道器官進行分類的算法，因而無法有效生成胃部或食道的輔 助診斷結(jié)果。

【發(fā)明內(nèi)容】

[0009] 本發(fā)明就是針對上述技術(shù)問題，提供一種消化道病灶圖像識別系統(tǒng)及識別方法， 該系統(tǒng)和方法，該系統(tǒng)及方法提高了消化道病灶圖像識別的效率和準確性。
[0010] 為實現(xiàn)上述目的，本發(fā)明所設(shè)計的一種消化道病灶圖像識別系統(tǒng)，其特征在于:它 包括存儲器、圖像預(yù)處理模塊、圖像特征提取模塊、機器學(xué)習(xí)模塊和圖像識別模塊，其中，所 述存儲器的存儲數(shù)據(jù)通信端連接圖像預(yù)處理模塊的數(shù)據(jù)輸入端，圖像預(yù)處理模塊的數(shù)據(jù)輸 出端連接圖像特征提取模塊的數(shù)據(jù)輸入端，圖像特征提取模塊的第一數(shù)據(jù)輸出端連接機器 學(xué)習(xí)模塊的數(shù)據(jù)輸入端，圖像特征提取模塊的第二數(shù)據(jù)輸出端連接圖像識別模塊的第一數(shù) 據(jù)輸入端，機器學(xué)習(xí)模塊的數(shù)據(jù)輸出端連接圖像識別模塊的第二數(shù)據(jù)輸入端。
[0011] -種利用上述系統(tǒng)進行消化道病灶圖像識別的方法，其特征在于，它包括如下步 驟：
[0012] 步驟1:在存儲器中存入機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)，其中，所述機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)包括訓(xùn) 練樣本圖像、測試樣本圖像、圖像分類信息，數(shù)據(jù)解析模塊從存儲器中提取機器學(xué)習(xí)訓(xùn)練數(shù) 據(jù)，并對提取的機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)進行格式轉(zhuǎn)換，生成所需圖片格式的圖像；
[0013] 步驟2:圖像特征提取模塊使用尺度不變特征轉(zhuǎn)換算法和完整局部二值模式算法 提取機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)中訓(xùn)練樣本圖像的圖像紋理特征，同時使用超像素方法和網(wǎng)格法對 機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)進行分割，然后提取分割后機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)中訓(xùn)練樣本圖像的熵特征 和顏色矩特征；
[0014] 圖像特征提取模塊還將圖像紋理特征、熵特征和顏色矩特征分別傳輸給機器學(xué)習(xí) 模塊和圖像識別模塊；
[0015] 圖像特征提取模塊還將機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)傳輸給機器學(xué)習(xí)模塊；
[0016] 步驟3:機器學(xué)習(xí)模塊采用卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法根據(jù)圖像分類信息對測 試樣本圖像進行消化道位置分類，得到消化道位置分類數(shù)據(jù)，機器學(xué)習(xí)模塊還根據(jù)圖像紋 理特征、熵特征和顏色矩特征，并依據(jù)支持向量機算法進行學(xué)習(xí)訓(xùn)練生成消化道病灶信息 數(shù)據(jù)模型；
[0017] 機器學(xué)習(xí)模塊還將消化道位置分類和消化道病灶信息數(shù)據(jù)模型傳輸給圖像識別 豐旲塊；
[0018] 步驟4:圖像識別模塊對訓(xùn)練樣本圖像按照消化道位置分類數(shù)據(jù)進行分類，并基于 消化道位置分類的結(jié)果對不同消化道部位的訓(xùn)練樣本圖像提取圖像紋理特征、熵特征和顏 色矩特征，然后采用Adaboost算法對不同消化道部位的訓(xùn)練樣本圖像提取的圖像紋理特 征、熵特征和顏色矩特征進行病灶識別得到病灶的疑似區(qū)域，最后使用支持向量機應(yīng)用消 化道病灶信息數(shù)據(jù)模型對病灶識別疑似區(qū)域進行分類得到準確的病灶信息。
[0019]所述對數(shù)據(jù)解析模塊生成的圖像通過圖像去冗余算法去除圖像中的冗余圖像的 具體方法為：
[0020]根據(jù)如下圖像去冗余算法先計算出時間序列上相鄰的兩個圖像之間的相似度SI;
[0022]其中，N為圖像寬度，81源圖像像素列，81目的圖像像素列，時間序列在前的圖像為 源圖像，時間序列在后的圖像為目的圖像；
[0023] 根據(jù)如下公式計算時間序列上相鄰的兩個圖像之間的相似度SI的加權(quán)平均值 SI7：
[0024] SI7 =0.299SIr+0.587SIg+0.114SIb
[0025] 其中，SIr為紅色的SI值，SIg為綠色的SI值，SI b為藍色的SI值；
[0026] 判斷上述加權(quán)平均值SI'是否在預(yù)設(shè)的相似度閾值范圍內(nèi)，如果是，則刪除，則表 示時間序列上相鄰的兩個圖像相似，此時刪除目的圖像，如果否，則表示時間序列上相鄰的 兩個圖像不相似，保留上述時間序列上相鄰的兩個圖像；
[0027] 所述圖像邊緣識別算法去掉消化道邊緣輪廓的具體方法為:采用canny邊緣檢測 算法待處理圖像進行邊緣檢測，該算法使用了一階有限差分sobel算子來計算圖像梯度的 幅值和方向，然后通過非極大值抑制和雙閾值設(shè)定得到圖像的邊緣，并將檢測到的圖像邊 緣刪除。
[0028] 本發(fā)明針對消化道膠囊內(nèi)鏡圖像尤其是膠囊胃鏡圖像提供了一個完整的病灶圖 像識別方案。該方案，能夠有效提高閱片效率、識別定位病灶并提供輔助診斷信息。其帶來 的有益效果有：
[0029] 1、本發(fā)明的圖像去冗余算法有效減少了膠囊內(nèi)鏡的冗余圖像，減少閱片工作量。
[0030] 2、本發(fā)明中消化道分類算法能準確的劃分消化道位置，可以分別對食道、胃部、小 腸各段消化道做分類檢查，并提高了輔助診斷的準確性。
[0031] 3、本發(fā)明利用圖像識別算法對病灶圖像進行識別，能夠有效的區(qū)分出出血、潰瘍、 腫瘤、息肉等病灶特征。
[0032] 4、本發(fā)明通過圖像預(yù)處理算法去除圖像中的氣泡、雜質(zhì)、消化道邊緣等干擾，并提 取如SIFT、CLBP等圖像特征，提高了消化道病灶圖像識別的效率和準確性。
【附圖說明】
[0033]圖1為本發(fā)明的系統(tǒng)結(jié)構(gòu)示意圖。
[0034]圖中：1 一存儲器、2-數(shù)據(jù)解析模塊、3-圖像預(yù)處理模塊、4一圖像特征提取模塊、 5-機器學(xué)習(xí)模塊、6-圖像識別模塊。
【具體實施方式】
[0035]下面結(jié)合附圖和具體實施例對本發(fā)明作進一步的詳細說明。
[0036]本發(fā)明設(shè)計的一種消化道病灶圖像識別系統(tǒng)，如圖1所述，它包括存儲器1(優(yōu)選云 端存儲器）、圖像預(yù)處理模塊3、圖像特征提取模塊4、機器學(xué)習(xí)模塊5和圖像識別模塊6,其 中，所述存儲器1的存儲數(shù)據(jù)通信端連接圖像預(yù)處理模塊3的數(shù)據(jù)輸入端，圖像預(yù)處理模塊3 的數(shù)據(jù)輸出端連接圖像特征提取模塊4的數(shù)據(jù)輸入端，圖像特征提取模塊4的第一數(shù)據(jù)輸出 端連接機器學(xué)習(xí)模塊5的數(shù)據(jù)輸入端，圖像特征提取模塊4的第二數(shù)據(jù)輸出端連接圖像識別 模塊6的第一數(shù)據(jù)輸入端，機器學(xué)習(xí)模塊5的數(shù)據(jù)輸出端連接圖像識別模塊6的第二數(shù)據(jù)輸 入端。
[0037]上述技術(shù)方案中，所述存儲器1用于存儲機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)，其中，所述機器學(xué)習(xí) 訓(xùn)練數(shù)據(jù)包括訓(xùn)練樣本圖像、測試樣本圖像、圖像分類信息（圖像分類信息通過圖像的文件 名與訓(xùn)練樣本圖像和測試樣本圖像關(guān)聯(lián)）；
[0038]所述圖像特征提取模塊4用于使用尺度不變特征轉(zhuǎn)換算法（SIFT，Scale-invar iantfeature transform) 和完整局部二值模式算法 （CLPB， completed local binary pattern)提取機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)中訓(xùn)練樣本圖像的圖像紋理特征，同時使用超像素方法和 網(wǎng)格法對機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)進行分割，然后提取分割后機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)中訓(xùn)練樣本圖像 的熵特征和顏色矩特征;尺度不變特征是1999年由David Lowe提出來的一種基于尺度空間 的，對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子，尺度不變特征轉(zhuǎn) 換算法首先構(gòu)建圖像的尺度空間，然后提取尺度空間的局部極值點作為關(guān)鍵點，最后由關(guān) 鍵點區(qū)域的梯度方向信息生成具有尺度不變性的128維特征描述向量；
[0039] 圖像特征提取模塊4還用于將圖像紋理特征、熵特征和顏色矩特征分別傳輸給機 器學(xué)習(xí)模塊5和圖像識別模塊6;
[0040] 圖像特征提取模塊4還用于將機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)傳輸給機器學(xué)習(xí)模塊5;
[0041]機器學(xué)習(xí)模塊5用于采用卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法根據(jù)圖像分類信息對測試 樣本圖像進行消化道位置分類，（分類位置包括食道、胃部、小腸、結(jié)腸），得到消化道位置分 類數(shù)據(jù)，機器學(xué)習(xí)模塊5還用于根據(jù)圖像紋理特征、熵特征和顏色矩特征，并依據(jù)支持向量 機算法(SVM，Support Vector Machine)進行學(xué)習(xí)訓(xùn)練生成消化道病灶信息數(shù)據(jù)模型； [0042]機器學(xué)習(xí)模塊5還用于將消化道位置分類和消化道病灶信息數(shù)據(jù)模型傳輸給圖像 識別t旲塊6;
[0043]所述圖像識別模塊6用于對訓(xùn)練樣本圖像按照消化道位置分類數(shù)據(jù)進行分類，并 基于消化道位置分類的結(jié)果對不同消化道部位的訓(xùn)練樣本圖像提取圖像紋理特征、熵特征 和顏色矩特征，然后采用Adaboost算法對不同消化道部位的訓(xùn)練樣本圖像提取的圖像紋理 特征、熵特征和顏色矩特征進行病灶識別，最后應(yīng)用消化道病灶信息數(shù)據(jù)模型對病灶識別 結(jié)果進行分類得到準確的病灶信息。
[0044] 上述技術(shù)方案中，圖像識別模塊6最后將準確的病灶信息傳輸給輔助診斷模塊。該 輔助診斷模塊對病歷數(shù)據(jù)庫中的病灶特征、形狀、顏色、數(shù)量進行統(tǒng)計，然后根據(jù)圖像識別 模塊6得到的準確病灶信息使用樸素貝葉斯算法生成相關(guān)病灶的診斷結(jié)果。該結(jié)果用于膠 囊內(nèi)窺鏡機器輔助診斷。病歷數(shù)據(jù)庫包括以下字段:病歷id、性別、病灶范圍、病灶大小、病 灶程度、病灶部位、病灶描述、檢查建議。
[0045] 輔助診斷模塊首先會提取云端數(shù)據(jù)庫的病歷數(shù)據(jù)，統(tǒng)計每種病灶，病灶數(shù)量，病灶 形狀，病灶顏色，相對于疾病的條件概率。然后對病灶識別結(jié)果應(yīng)用樸素貝葉斯算法得出輔 助診斷結(jié)果。樸素貝葉斯是一種簡單的分類器，要求每種屬性的概率是相互獨立的，計算病 灶分類的概率公式其定義為：
[0047] 其中p(yi)表示疾病i的概率，p(am | yi)表示屬性m相對疾病i的條件概率。P(X | Yi) 表示X屬性相對于i疾病的條件概率，此公式為樸素貝葉斯算法的公式。求該公式計算得到 的最大值即可估計出疾病類型，然后根據(jù)疾病的類型生成診斷結(jié)果。
[0048] 上述技術(shù)方案中，它還包括數(shù)據(jù)解析模塊2,所述存儲器1的存儲數(shù)據(jù)通信端連接 數(shù)據(jù)解析模塊2的存儲數(shù)據(jù)通信端，所述數(shù)據(jù)解析模塊2的數(shù)據(jù)輸出端連接圖像預(yù)處理模塊 3的數(shù)據(jù)輸入端；
[0049] 所述數(shù)據(jù)解析模塊2用于由機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)生成所需圖片格式的圖像，圖片格 式包括JPEG、BMP、PNG和DI COM格式。
[0050] 所述圖像預(yù)處理模塊3用于對數(shù)據(jù)解析模塊2生成的圖像通過圖像去冗余算法去 除圖像中的冗余圖像，再對去冗余后的圖像使用Gabor濾波算法去掉圖像中的噪聲干擾、雜 質(zhì)干擾、氣泡干擾、粘液干擾，并用圖像邊緣識別算法去掉消化道邊緣輪廓的影響。Gabor濾 波器的頻率和方向表達同人類視覺系統(tǒng)類似，十分適合圖像紋理的表達和分離。本發(fā)明使 用的二維Gabor濾波器的脈沖響應(yīng)可以定義為一個正弦平面波函數(shù)乘以高斯函數(shù)，其復(fù)數(shù) 表示如下：
[0052] 其中：x' =-xcos9+ysin9，A表示正弦波函數(shù)的波長，它的值以 像素為單位指定，通常大于等于2,但不能大于輸入圖像尺寸的五分之一；Θ指定了Gabor函 數(shù)并行條紋的方向，它的取值為〇到360度;Φ為相位偏移它的取值范圍為-180°~180° ; γ為 空間縱橫比，它決定了Gabor函數(shù)的橢圓率;σ為Gabor函數(shù)的高斯因子的標(biāo)準差，x、y表示圖 像的像素值;通過調(diào)整Gabor濾波器的波長λ和方向Θ可以得到一組濾波器，本發(fā)明使用了一 組(4X4個)Gabor濾波器來提取圖像中的氣泡和雜質(zhì)特征，并使用提取到的特征對圖像進 行掩模過濾。
[0053] 一種利用上述系統(tǒng)進行消化道病灶圖像識別的方法，它包括如下步驟：
[0054]步驟1:在存儲器1中存入機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)，其中，所述機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)包括訓(xùn) 練樣本圖像、測試樣本圖像、圖像分類信息，數(shù)據(jù)解析模塊2從存儲器1中提取機器學(xué)習(xí)訓(xùn)練 數(shù)據(jù)，并對提取的機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)進行格式轉(zhuǎn)換，生成所需圖片格式的圖像；
[0055] 步驟2:圖像特征提取模塊4使用尺度不變特征轉(zhuǎn)換算法和完整局部二值模式算法 提取機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)中訓(xùn)練樣本圖像的圖像紋理特征，同時使用超像素方法和網(wǎng)格法對 機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)進行分割，然后提取分割后機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)中訓(xùn)練樣本圖像的熵特征 和顏色矩特征；
[0056] 圖像特征提取模塊4還將圖像紋理特征、熵特征和顏色矩特征分別傳輸給機器學(xué) 習(xí)模塊5和圖像識別模塊6;
[0057]圖像特征提取模塊4還將機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)傳輸給機器學(xué)習(xí)模塊5;
[0058]步驟3:機器學(xué)習(xí)模塊5采用卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法根據(jù)圖像分類信息對測 試樣本圖像進行消化道位置分類，得到消化道位置分類數(shù)據(jù)，機器學(xué)習(xí)模塊5還根據(jù)圖像紋 理特征、熵特征和顏色矩特征，并依據(jù)支持向量機算法進行學(xué)習(xí)訓(xùn)練生成消化道病灶信息 數(shù)據(jù)模型；
[0059]機器學(xué)習(xí)模塊5還將消化道位置分類和消化道病灶信息數(shù)據(jù)模型傳輸給圖像識別 豐旲塊6;
[0060] 步驟4:圖像識別模塊6對訓(xùn)練樣本圖像按照消化道位置分類數(shù)據(jù)進行分類，并基 于消化道位置分類的結(jié)果對不同消化道部位的訓(xùn)練樣本圖像提取圖像紋理特征、熵特征和 顏色矩特征，然后采用Adaboost算法對不同消化道部位的訓(xùn)練樣本圖像提取的圖像紋理特 征、熵特征和顏色矩特征進行病灶識別得到病灶的疑似區(qū)域，最后使用支持向量機應(yīng)用消 化道病灶信息數(shù)據(jù)模型對病灶識別疑似區(qū)域進行分類得到準確的病灶信息。
[0061] 上述技術(shù)方案中，所述機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)由消化道原始圖像數(shù)據(jù)采取人工按需要 選擇的方式生成。消化道原始圖像數(shù)據(jù)由膠囊內(nèi)窺鏡拍攝提供。消化道原始圖像數(shù)據(jù)的數(shù) 據(jù)格式為自定義類型。
[0062] 上述技術(shù)方案中，所述對數(shù)據(jù)解析模塊2生成的圖像通過圖像去冗余算法去除圖 像中的冗余圖像的具體方法為：
[0063] 根據(jù)如下圖像去冗余算法先計算出時間序列上相鄰的兩個圖像之間的相似度SI;
[0065]其中，N為圖像寬度，gi源圖像像素列，81目的圖像像素列，時間序列在前的圖像為 源圖像，時間序列在后的圖像為目的圖像；
[0066] 根據(jù)如下公式計算時間序列上相鄰的兩個圖像之間的相似度SI的加權(quán)平均值 SI7：
[0067] SI7 =0.299SIr+0.587SIg+0.114SIb
[0068] 其中，SIr為紅色的SI值，SIg為綠色的SI值，SI b為藍色的SI值；
[0069] 判斷上述加權(quán)平均值SI'是否在預(yù)設(shè)的相似度閾值范圍內(nèi)，如果是，則刪除，則表 示時間序列上相鄰的兩個圖像相似，此時刪除目的圖像，如果否，則表示時間序列上相鄰的 兩個圖像不相似，保留上述時間序列上相鄰的兩個圖像；
[0070] 所述圖像邊緣識別算法去掉消化道邊緣輪廓的具體方法為:采用canny邊緣檢測 算法待處理圖像進行邊緣檢測，該算法使用了一階有限差分sobel算子來計算圖像梯度的 幅值和方向，然后通過非極大值抑制和雙閾值設(shè)定得到圖像的邊緣，并將檢測到的圖像邊 緣刪除。
[0071]上述技術(shù)方案中，提取顏色特征前先使用上述的邊緣檢測算法去除消化道內(nèi)壁等 邊緣特征，以減少其對提取圖像顏色特征的干擾，然后對圖像做網(wǎng)格分割和超像素分割并 提取局部的顏色特征；
[0072]所述提取分割后機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)中訓(xùn)練樣本圖像的顏色矩特征的具體方法為： [0073] 顏色特征主要提取HSV顏色空間（色調(diào)Η，飽和度S，明度V)和RGB顏色空間下的顏色

矩和顏色純度特征，其中顏色矩包括，一階矩 二階矩 9 三階矩
[0074]其中，1^表示彩色圖像第i個顏色通道分量中灰度為j的像素出現(xiàn)的概率，η表示圖 像中的像素個數(shù)，μ:表示第i個顏色通道圖像灰度的均值；
[0075] 顏色純度特征包括RGB顏色空間下的紅色顏色通道和HSV顏色空間下的飽和度通 道與各自顏色空間中的其它通道的比值。
[0076]上述技術(shù)方案中，圖像特征提取模塊4提取訓(xùn)練樣本圖像的熵特征的方法為;提取 訓(xùn)練樣本圖像的二維熵信息，訓(xùn)練樣本圖像的二維熵信息選擇訓(xùn)練樣本圖像的鄰域灰度均 值作為灰度分布的空間特征量，灰度分布的空間特征量與訓(xùn)練樣本圖像的像素灰度組成特 征二元組，記為（i，j)，其中i表示像素的灰度值，j表示鄰域灰度均值，訓(xùn)練樣本圖像任意像 素位置上的灰度值與該像素位置周圍像素灰度分布的綜合特征的定義為Pu = f(i，j)/N2， 其中f(i，j)為特征二元組（i，j)出現(xiàn)的頻數(shù)，N為訓(xùn)練樣本圖像的尺度，離散的訓(xùn)練樣本圖 像二維熵定義為：
[0078] 上述技術(shù)方案中，圖像識別模塊6對訓(xùn)練樣本圖像按照消化道位置分類數(shù)據(jù)并應(yīng) 用卷積神經(jīng)網(wǎng)絡(luò)模型（CNN，Convolutional neural networks)進行分類。
[0079] 上述技術(shù)方案中，機器學(xué)習(xí)模塊5對消化道分類和病灶分類采用了不同的學(xué)習(xí)方 法。對消化道分類采用了基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)的方法，深度學(xué)習(xí)采用了 5層卷積神經(jīng)網(wǎng) 絡(luò)模型，在全連接層采用了SoftMax函數(shù)對提取到的消化道特征進行了分類，消化道分類結(jié) 果為食道、胃部、小腸、結(jié)腸。對病灶的分類使用多分類的支持向量機(SVM)來實現(xiàn)，SVM分類 器的公式可表示為：
[0081 ]其中ai拉格朗日系數(shù)該系數(shù)由訓(xùn)練得到，yi樣本i的分類值，xi樣本i的值。SVM分類 使用了圖像的顏色矩、CLBP特征、SIFT特征、二維熵特征，SVM可將病灶分為出血、潰瘍、月中 瘤、息肉。
[0082]圖像識別模塊6對去冗余、降噪、去干擾處理后的消化道圖像應(yīng)用CNN模型得到圖 像的分類結(jié)果，然后根據(jù)圖像的時間序列得到消化的分段模型，并記錄下膠囊通過食道、胃 部、小腸、結(jié)腸的時間和這幾個部位的起止圖像ID。
[0083]根據(jù)上述消化道分段模型，在每個消化道的分段內(nèi)應(yīng)用Adaboost算法對病灶做一 個初步的分類識別。Adaboost分類算法是將幾個弱分類器加權(quán)組合成一個效果更好的強分 類器，其公式可表達為：
[0085] 其中Gm(x)為第m個弱分類器，G(X)為最終得到的強分類器，am是弱分類器的系數(shù)即
權(quán)值，可由弱分類器誤差概率em計算得到，其計算方法為 Adaboost識 〇 別出可疑病灶后，應(yīng)用SVM再做一次病灶的細分類。對于出血(紅色）、潰瘍（白色）、黃色素瘤 (黃色)等以顏色區(qū)分的病變，主要通過顏色矩、二維熵、CLBP等特征來識別。對于息肉和腫 瘤等隆起型病變，主要使用CIJB、SIFT等特征來識別。將這些提取出來的特征應(yīng)用于SVM可 進一步提高病灶識別精度。
[0086] 本說明書未作詳細描述的內(nèi)容屬于本領(lǐng)域?qū)I(yè)技術(shù)人員公知的現(xiàn)有技術(shù)。
【主權(quán)項】
1. 一種消化道病灶圖像識別系統(tǒng)，其特征在于：它包括存儲器（1)、圖像預(yù)處理模塊 (3)、圖像特征提取模塊(4)、機器學(xué)習(xí)模塊(5)和圖像識別模塊(6)，其中，所述存儲器(1)的 存儲數(shù)據(jù)通信端連接圖像預(yù)處理模塊(3)的數(shù)據(jù)輸入端，圖像預(yù)處理模塊(3)的數(shù)據(jù)輸出端 連接圖像特征提取模塊(4)的數(shù)據(jù)輸入端，圖像特征提取模塊(4)的第一數(shù)據(jù)輸出端連接機 器學(xué)習(xí)模塊(5)的數(shù)據(jù)輸入端，圖像特征提取模塊(4)的第二數(shù)據(jù)輸出端連接圖像識別模塊 (6)的第一數(shù)據(jù)輸入端，機器學(xué)習(xí)模塊(5)的數(shù)據(jù)輸出端連接圖像識別模塊(6)的第二數(shù)據(jù) 輸入端。2. 根據(jù)權(quán)利要求1所述的消化道病灶圖像識別系統(tǒng)，其特征在于： 所述存儲器（1)用于存儲機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)，其中，所述機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)包括訓(xùn)練樣 本圖像、測試樣本圖像、圖像分類信息； 所述圖像特征提取模塊(4)用于使用尺度不變特征轉(zhuǎn)換算法和完整局部二值模式算法 提取機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)中訓(xùn)練樣本圖像的圖像紋理特征，同時使用超像素方法和網(wǎng)格法對 機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)進行分割，然后提取分割后機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)中訓(xùn)練樣本圖像的賭特征 和顏色矩特征； 圖像特征提取模塊(4)還用于將圖像紋理特征、賭特征和顏色矩特征分別傳輸給機器 學(xué)習(xí)模塊(5)和圖像識別模塊(6); 圖像特征提取模塊(4)還用于將機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)傳輸給機器學(xué)習(xí)模塊巧）； 機器學(xué)習(xí)模塊(5)用于采用卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法根據(jù)圖像分類信息對測試樣 本圖像進行消化道位置分類，得到消化道位置分類數(shù)據(jù)，機器學(xué)習(xí)模塊巧)還用于根據(jù)圖像 紋理特征、賭特征和顏色矩特征，并依據(jù)支持向量機算法進行學(xué)習(xí)訓(xùn)練生成消化道病灶信 息數(shù)據(jù)模型； 機器學(xué)習(xí)模塊(5)還用于將消化道位置分類和消化道病灶信息數(shù)據(jù)模型傳輸給圖像識 別板塊(6); 所述圖像識別模塊(6)用于對訓(xùn)練樣本圖像按照消化道位置分類數(shù)據(jù)進行分類，并基 于消化道位置分類的結(jié)果對不同消化道部位的訓(xùn)練樣本圖像提取圖像紋理特征、賭特征和 顏色矩特征，然后采用Adaboost算法對不同消化道部位的訓(xùn)練樣本圖像提取的圖像紋理特 征、賭特征和顏色矩特征進行病灶識別，最后應(yīng)用消化道病灶信息數(shù)據(jù)模型對病灶識別結(jié) 果進行分類得到準確的病灶信息。3. 根據(jù)權(quán)利要求1所述的消化道病灶圖像識別系統(tǒng)，其特征在于:它還包括數(shù)據(jù)解析模 塊(2)，所述存儲器(1)的存儲數(shù)據(jù)通信端連接數(shù)據(jù)解析模塊(2)的存儲數(shù)據(jù)通信端，所述數(shù) 據(jù)解析模塊(2)的數(shù)據(jù)輸出端連接圖像預(yù)處理模塊(3)的數(shù)據(jù)輸入端； 所述數(shù)據(jù)解析模塊(2)用于由機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)生成所需圖片格式的圖像； 所述圖像預(yù)處理模塊(3)用于對數(shù)據(jù)解析模塊(2)生成的圖像通過圖像去冗余算法去 除圖像中的冗余圖像，再對去冗余后的圖像使用Gabor濾波算法去掉圖像中的噪聲干擾、雜 質(zhì)干擾、氣泡干擾、粘液干擾，并用圖像邊緣識別算法去掉消化道邊緣輪廓的影響。4. 一種利用權(quán)利要求1所述系統(tǒng)進行消化道病灶圖像識別的方法，其特征在于，它包括 如下步驟： 步驟1:在存儲器（1)中存入機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)，其中，所述機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)包括訓(xùn)練 樣本圖像、測試樣本圖像、圖像分類信息，數(shù)據(jù)解析模塊(2)從存儲器(1)中提取機器學(xué)習(xí)訓(xùn) 練數(shù)據(jù)，并對提取的機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)進行格式轉(zhuǎn)換，生成所需圖片格式的圖像； 步驟2:圖像特征提取模塊(4)使用尺度不變特征轉(zhuǎn)換算法和完整局部二值模式算法提 取機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)中訓(xùn)練樣本圖像的圖像紋理特征，同時使用超像素方法和網(wǎng)格法對機 器學(xué)習(xí)訓(xùn)練數(shù)據(jù)進行分割，然后提取分割后機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)中訓(xùn)練樣本圖像的賭特征和 顏色矩特征； 圖像特征提取模塊(4)還將圖像紋理特征、賭特征和顏色矩特征分別傳輸給機器學(xué)習(xí) 模塊(5)和圖像識別模塊(6); 圖像特征提取模塊(4)還將機器學(xué)習(xí)訓(xùn)練數(shù)據(jù)傳輸給機器學(xué)習(xí)模塊巧）； 步驟3:機器學(xué)習(xí)模塊(5)采用卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法根據(jù)圖像分類信息對測試 樣本圖像進行消化道位置分類，得到消化道位置分類數(shù)據(jù)，機器學(xué)習(xí)模塊(5)還根據(jù)圖像紋 理特征、賭特征和顏色矩特征，并依據(jù)支持向量機算法進行學(xué)習(xí)訓(xùn)練生成消化道病灶信息 數(shù)據(jù)模型； 機器學(xué)習(xí)模塊(5)還將消化道位置分類和消化道病灶信息數(shù)據(jù)模型傳輸給圖像識別模 塊(6); 步驟4:圖像識別模塊(6)對訓(xùn)練樣本圖像按照消化道位置分類數(shù)據(jù)進行分類，并基于 消化道位置分類的結(jié)果對不同消化道部位的訓(xùn)練樣本圖像提取圖像紋理特征、賭特征和顏 色矩特征，然后采用Adaboost算法對不同消化道部位的訓(xùn)練樣本圖像提取的圖像紋理特 征、賭特征和顏色矩特征進行病灶識別得到病灶的疑似區(qū)域，最后使用支持向量機應(yīng)用消 化道病灶信息數(shù)據(jù)模型對病灶識別疑似區(qū)域進行分類得到準確的病灶信息。5. 根據(jù)權(quán)利要求4所述的消化道病灶圖像識別方法，其特征在于:所述機器學(xué)習(xí)訓(xùn)練數(shù) 據(jù)由消化道原始圖像數(shù)據(jù)采取人工按需要選擇的方式生成。6. 根據(jù)權(quán)利要求4所述的消化道病灶圖像識別方法，其特征在于:所述對數(shù)據(jù)解析模塊 (2)生成的圖像通過圖像去冗余算法去除圖像中的冗余圖像的具體方法為： 根據(jù)如下圖像去冗余算法先計算出時間序列上相鄰的兩個圖像之間的相似度SI;其中，N為圖像寬度，gi源圖像像素列，Si目的圖像像素列，時間序列在前的圖像為源圖 像，時間序列在后的圖像為目的圖像； 根據(jù)如下公式計算時間序列上相鄰的兩個圖像之間的相似度SI的加權(quán)平均值SI/: Sr =0.299SIr+0.587SIg+0.114SIb 其中，Sir為紅色的SI值，SIg為綠色的SI值，Sib為藍色的SI值； 判斷上述加權(quán)平均值SI/是否在預(yù)設(shè)的相似度闊值范圍內(nèi)，如果是，則刪除，則表示時 間序列上相鄰的兩個圖像相似，此時刪除目的圖像，如果否，則表示時間序列上相鄰的兩個 圖像不相似，保留上述時間序列上相鄰的兩個圖像； 所述圖像邊緣識別算法去掉消化道邊緣輪廓的具體方法為：采用canny邊緣檢測算法 待處理圖像進行邊緣檢測，該算法使用了一階有限差分sobel算子來計算圖像梯度的幅值 和方向，然后通過非極大值抑制和雙闊值設(shè)定得到圖像的邊緣，并將檢測到的圖像邊緣刪 除。7. 根據(jù)權(quán)利要求4所述的消化道病灶圖像識別方法，其特征在于:所述提取分割后機器 學(xué)習(xí)訓(xùn)練數(shù)據(jù)中訓(xùn)練樣本圖像的賭特征和顏色矩特征的具體方法為： 顏色特征主要提取HSV顏色空間和RGB顏色空間下的顏色矩和顏色純度特征，其中顏色 矩包括，一階；其中，hu表示彩色圖像第i個顏色通道分量中灰度為j的像素出現(xiàn)的概率，η表示圖像中 的像素個數(shù)，μι表示第i個顏色通道圖像灰度的均值； 顏色純度特征包括RGB顏色空間下的紅色顏色通道和HSV顏色空間下的飽和度通道與 各自顏色空間中的其它通道的比值。8. 根據(jù)權(quán)利要求4所述的消化道病灶圖像識別方法，其特征在于：圖像特征提取模塊 (4)提取訓(xùn)練樣本圖像的賭特征的方法為;提取訓(xùn)練樣本圖像的二維賭信息，訓(xùn)練樣本圖像 的二維賭信息選擇訓(xùn)練樣本圖像的鄰域灰度均值作為灰度分布的空間特征量，灰度分布的 空間特征量與訓(xùn)練樣本圖像的像素灰度組成特征二元組，記為（i，j)，其中i表示像素的灰 度值，j表示鄰域灰度均值，訓(xùn)練樣本圖像任意像素位置上的灰度值與該像素位置周圍像素 灰度分布的綜合特征的定義為Pu = f(i，j)/爐，其中f(i，j)為特征二元組（i，j)出現(xiàn)的頻 數(shù)，N為訓(xùn)練樣本圖像的尺度，離散的訓(xùn)練樣本圖像二維賭定義為：9. 根據(jù)權(quán)利要求4所述的消化道病灶圖像識別方法，其特征在于：圖像識別模塊(6)對 訓(xùn)練樣本圖像按照消化道位置分類數(shù)據(jù)并應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)模型進行分類。10. 根據(jù)權(quán)利要求5所述的消化道病灶圖像識別方法，其特征在于:所述消化道原始圖 像數(shù)據(jù)由膠囊內(nèi)窺鏡拍攝提供。
【文檔編號】G06T7/00GK106097335SQ201610405322
【公開日】2016年11月9日
【申請日】2016年6月8日
【發(fā)明人】張皓, 袁文金, 張行, 王新宏, 段曉東, 肖國華
【申請人】安翰光電技術(shù)（武漢）有限公司