一種基于圖像顯著性與svm的飛機目標檢測方法
【專利摘要】本發明涉及一種基于圖像顯著性與SVM的飛機目標檢測方法，顯著性區域檢測中有兩種視覺注意方式，分別是：自底向上(數據驅動)的注意方式、自頂向下(任務驅動)的注意方式。本發明先提取訓練樣本的方向梯度直方圖(HOG)特征，訓練支持向量機(SVM)分類器，然后使用一種基于剩余譜理論的自底向上的視覺注意模型進行顯著性區域檢測，快速提取可能存在目標的候選區域，然后提取候選區域的HOG特征，再使用訓練好的SVM分類器對候選區域進行分類，完成目標檢測。
【專利說明】
-種基于圖像顯著性與SVM的飛機目標檢測方法
技術領域
[0001] 本發明屬于計算機圖像處理，設及飛機目標檢測方法，具體設及一種基于圖像顯 著性與SVM的飛機目標檢測方法。
【背景技術】
[0002] 可見光圖像目標檢測是目標檢測領域重要的分支之一，在軍事領域有極為重要的 應用。目前，在飛機檢測方面，國內外的專家學者已經做了大量的研究工作。比較早的有基 于圖像角點與邊緣特征的飛機檢測方法，通過角點和邊緣所圍成的外觀形狀來判斷飛機的 位置。另外，由于飛機在圖像中的獨特形狀，現有技術中出現過一種用于飛機檢測的圓濾波 器檢測方法;但是，該方法容易受到飛機尺寸的限制，對尺度不合適的飛機區域采用圓濾波 器并不能達到好的檢測效果。而基于圖像顯著性的飛機檢測方法，則主要利用人眼的視覺 系統特點初步獲取圖像中的飛機可疑區域，然后與目標特征相結合實現對飛機位置的檢 測。
[0003] 在基于統計學習的方法中，可見光圖像中的目標檢測通常被認定為一個二分類問 題，即待檢測目標要么是目標，要么不是目標。隨著機器學習與特征提取等方法研究的不斷 深入W及不斷被應用到種類目標檢測中，現有的機器學習方法與特征提取方法使得目標檢 測的準確性有了很大的提高，但仍不能高效、準確地提取出圖像中包含目標的候選區域。

【發明內容】

[0004] 要解決的技術問題
[0005] 為了避免現有技術的不足之處，本發明提出一種基于圖像顯著性與SVM的飛機目 標檢測方法，將基于顯著性區域檢測的圖像分割運用到目標檢測領域W解決檢測精度不高 等問題。
[0006] 技術方案
[0007] -種基于圖像顯著性與SVM的飛機目標檢測方法，其特征在于步驟如下：
[000引步驟1、數據準備:從公眾可獲得的各類圖像中選取可見光機場圖像作為訓練樣本 及待檢測目標圖集，并轉換為灰度圖，圖中飛機的最大外接正方形的尺寸從最小值:aiXai， 至最大值為32X32;選取部分圖像作為訓練樣本，將圖像中飛機區域切割后作為正樣本，其 他區域切割后作為負樣本;剩余的部分圖像作為測試樣本;所述的訓練的樣本縮放為33X33 大小的尺寸；
[0009] 步驟2:分別提取正負訓練樣本的HOG特征；
[0010] 步驟3:將提取到的每一個正負樣本的HOG特征與其類別標簽，正樣本為1，負樣本 為-1組合成一個向量，訓練SVM分類器；
[0011] 步驟4:采用基于剩余譜理論的顯著性檢測方法獲取測試樣本中圖像的顯著圖；
[0012] 步驟5:通過面積闊值化方法提取顯著圖中的連通域，產生飛機目標的候選區域， 過程如下：
[0014]
[oou]步驟5曰:首先計算顯著圖的均值另和方差滬；
[0015]
[0016] 其中，W表示圖像的寬，h表示圖像的高，SaKiJ)表示顯著圖中第i行第j列的像素 值；
[0017] 步驟化:利用顯著圖的均值^和方差系計算闊值T，W該闊值T分割顯著圖；所述闊 值T:
[001 引
[0019] 系數k是為了平衡標準差.容和均值//在闊值T取值時的權重A = ex-p(.-(V/15);
[0020] 步驟5c、對闊值化后的顯著圖進行連通域濾波：W大小為mXm的矩形窗，W第i行 第j列像素Q J)為中屯、截取一個鄰域；W某區域的像素個數來定義該區域的面積，求出處 于所述鄰域范圍內的顯著區域的面積;如果該面積大于一定闊值，就保留該區域，否則不保 留;將所有保留下來的區域作為飛機目標的候選區域；
[0021 ]步驟6:從飛機目標的候選區域提取飛機目標，過程如下：
[0022] 步驟6a、構建響應矩陣：
[0023] 構建一個二維的響應矩陣M，矩陣中每個元素的取值為一個二維數組Mij(s，r)其 中i G [1 ,W] ,j G [1 ,h]，s用于記錄窗口尺寸,r用于記錄存在飛機目標的窗口所產生的SVM 響應;初始化時，該響應矩陣初始化為一個與圖像大小相同的全0矩陣；
[0024] W任一候選區域的局部像素極大值作為該候選區域的中屯、，稱為:種子點；
[0025] 步驟化、二次窗口法剔除無效種子點，保留最可能的飛機區域，過程如下：
[00%] (A)確定第一次圖像塊窗口 ：窗口是一個W種子點為中屯、的矩形窗口，窗口的尺寸 為hiXhi，其中：
[0027]
[00%]其中，into函數表示四舍五入取整。W該窗口對原圖像進行截取，將截取到的圖 像塊縮放為33X33大小，提取圖像塊的HOG特征，然后將HOG特征代入到SVM分類器中，計算 SVM分類器響應值ri;
[0029] (B)確定第二次圖像塊窗口 ：窗口是一個W種子點為中屯、的矩形窗口，窗口的尺寸 為h2Xh2,其中：
[0030] h2 = 2(hi-l)+l
[0031] W該窗口對原圖像進行截取，將截取到的圖像塊縮放為a3Xa3大小，提取圖像塊的 HOG特征，然后將HOG特征代入到SVM分類器中，計算SVM分類器響應值K;
[0032] (C)判斷是否保留該區域：
[0033] 如果兩次計算得到的分類器響應值均小于0,則認為該種子點對應的飛機候選區 域無效，因此剔除該無效種子點；
[0034] 否則，認為窗口包含的區域存在飛機或包含了飛機的大部分機身，將該兩次響應 中的較大值賦值到響應矩陣中種子點對應的坐標位置上，稱為響應矩陣的種子點，并記錄 下該響應對應的窗口尺寸;具體地，設當前坐標為：（u，v)，將需要記錄的SVM分類器響應值， 賦給響應矩陣的種子點處元素M(u，v)的二維數組中的r值;將產生該響應時對應的截取窗 口尺寸中的正方形邊長值，賦給響應矩陣的種子點處元素M(u，v)的二維數組中的S值；
[0035] 步驟6c、優化響應矩陣，確定飛機區域：
[0036] (1)優化每個種子點中記錄的窗口尺寸：
[0037] 對每一個響應矩陣的種子點，先根據W下公式計算變換后的窗口邊長值h3:
[00；3 引
[0039] W響應矩陣的種子點處的坐標為中屯、，Wh3Xh3為窗口尺寸建立截取窗口對原圖 像進行截取，將截取到的圖像塊縮放為曰3 X曰3大小，提取圖像塊的HOG特征，然后將HOG特征 代入到SVM分類器中，計算SVM分類器響應值n;
[0040] 再根據W下公式計算變換后的窗口邊長值h4:
[0041]
[0042] W響應矩陣的種子點處的坐標為中屯、，Wh4 X h4為窗口尺寸建立截取窗口對原圖 像進行截取，將截取到的圖像塊縮放為曰3 X曰3大小，提取圖像塊的HOG特征，然后將HOG特征 代入到SVM分類器中，計算SVM分類器響應值r4;
[0043] 找出r，r3，r4中的最大值，替換響應矩陣的種子點處元素的二維數組中原有的HI， W所述新的r值對應的窗口邊長值替換響應矩陣的種子點處元素的二維數組中原有的S值；
[0044] 確定飛機區域，得到最終目標檢測結果；
[0045] (2)依據優化后的響應矩陣，W響應矩陣的種子點處記錄的坐標作為原圖像中飛 機目標所在正方形區域的中屯、，W該種子點處記錄的S值作為原圖像中飛機目標所在正方 形區域的邊長，即可確定每個飛機區域，得到最終的飛機目標檢測結果。
[0046] 有益效果
[0047] 本發明提出的一種基于圖像顯著性與SVM的飛機目標檢測方法，顯著性區域檢測 中有兩種視覺注意方式，分別是：自底向上(數據驅動）的注意方式、自頂向下(任務驅動）的 注意方式。本發明先提取訓練樣本的方向梯度直方圖化OG)特征，訓練支持向量機(SVM)分 類器，然后使用一種基于剩余譜理論的自底向上的視覺注意模型進行顯著性區域檢測，快 速提取可能存在目標的候選區域，然后提取候選區域的HOG特征，再使用訓練好的SVM分類 器對候選區域進行分類，完成目標檢測。
[004引本發明將基于剩余譜理論的圖像顯著性檢測與支持向量機的學習方法巧妙地結 合起來，改進了目標區域的選擇，提高了檢測精度和檢測的魯棒性，模型簡單，執行效率高。
【附圖說明】
[0049] 圖1:基于SVM的檢測網絡的訓練流程圖
[0050] 圖2:基于圖像顯著性與SVM的可見光圖像飛機檢測流程圖
【具體實施方式】
[0051] 現結合實施例、附圖對本發明作進一步描述：
[0052] 實施方案步驟如下：
[0化3]步驟1:數據準備。
[0054] 從G00GLE-EARTH上截取可見光機場圖像作為訓練樣本及待檢測目標，統一轉換為 灰度圖，圖中飛機的最大外接正方形的尺寸從最小值:曰1 Xai，至最大值為曰2 X曰2不等。在本 實施例中，山=20，曰2 = 80。從運些截取后的圖像中，采集用于訓練的正負樣本(各2000個）， 人工標注其飛機區域。正樣本為各種姿態、不同型號的飛機，負樣本為飛機場中存在的建筑 物、飛機場內的標示、飛機尾部、飛機場中道路的交叉口等。在訓練時所用樣本均被統一縮 放為33X33大小的尺寸，對于每幅測試圖像，不需要裁剪。在本實施例中，曰3 = 64。
[0055] 步驟2:提取正負訓練樣本的HOG特征。
[0056] 先使用Gamma校正的方法對縮放后尺寸為a3Xa3的圖像歸一化。然后將圖像均勻地 劃分成bi Xbi個"單元格"（cell),每個單元格的大小為Cl Xci個像素，其中：ci = a3/bi。為便 于計算，通常將a3，bi，ci的取值調整為整數值，本實施例中，bi = 8，ci = 8。求出單元格內每個 像素的梯度方向，根據其梯度方向的幅值加權投影到對應的直方圖區間中，一個單元格對 應一個N維(運里N=9，即從每個單元格中提取9維特征)的向量。隨后取b2 X b2個單元格組合 成一個塊(block),塊與塊的起始位置之間的間隔取di個像素，使得塊之間互有重疊，塊的 選取順序為:先從左到右，再從上到下。在本實施例中，b2 = 2，di = 8,即：水平方向和垂直方 向分別有7個塊，使得圖像共包含49個塊。每個單元格仍取N維特征，塊的特征由單元格的直 方圖特征向量按照單元格的排列順序串聯組成;整個圖像的冊G特征則由各個塊的冊G特征 向量串聯組成。在本實施例中，每個塊有9 X 2 X 2共36維特征，整個歸一化圖像共有36 X 49 共1764維特征。
[0057] 步驟3:將上一步中提取到的每一個正負樣本的HOG特征與其類別標簽(正樣本為 1，負樣本為-1)組合成一個向量，訓練SVM分類器。本實施例中SVM的核函數采用徑向基核函 數。
[0058] 步驟4:訓練完畢后，使用基于剩余譜理論的顯著性檢測方法獲取測試圖像的顯著 圖。
[0059] (1)設待檢測灰度圖像I的寬度為W個像素，高度為h個像素，對圖像的像素
[0060] 集合I(X)(其中I(x)G[0,255]，xG[l，w*h])進行傅里葉變換F(Kx)),并提取圖 像頻
[0061 ]域的相位特征與振幅特征；
[0062] A(f)=R(F(I(x))) (1)
[0063] P(f)=S(F(I(x))) (2)
[0064] 其中，A(f)表示頻率f的振幅，P(f)表示頻率f的相位，R(FQU)))表示取F(Kx)) 振幅，S(FQU)))表示取F(Kx))相位。
[0065] (2)計算振幅的log譜Uf )，并對log譜進行均值濾波，然后求log譜的剩余譜R(f):
[0066] L(f) = log(A(f)) (3)
[0067] R(f)=L(f)-hn(f)A(f) (4)
[006引上式中hn(f)是大小為n Xn(本實施方案中選擇3 X 3大小）均值濾波卷積核，定義 為
[0069]
[0070] (3)將剩余譜與相位譜結合求得新的圖像頻譜，對該圖像頻譜進行傅里葉反變換 求得新的圖像，并對得到的圖像利用高斯卷積核進行圖像平滑，即可得到基于剩余譜理論 的圖像顯著圖S(X):
[0071] S(x)=g(x)沖-i[exp(R(f)+P(f))]2 (5)
[0072] 上式中，Fi(f)為傅里葉反變換，g(x)表示高斯卷積核。
[0073] 步驟5:通過面積闊值化方法提取顯著圖中的連通域，W此產生飛機目標的候選區 域。
[0074] (1)首先計算顯著圖的均值和方差滬.
[0075] (6)
[0076] 饑
[0077] 其中，W表示圖像的寬，h表示圖像的高，SaKiJ)表示顯著圖中第i行第j列的像素 值。
[0078] (2)利用顯著圖的均值和方差滬計算闊值T，W該闊值T分割顯著圖。運里的闊值 T：
[0079] (8)
[0080] 系數k是為了平衡標準差^和均值另在闊值T取值時的權重，本實施例中： Z、二exp(--15) 運樣取值可W使闊值T與標準差多滿足一定的反比特性，降低標準差過大 時對闊值的影響，或在標準差過小的時候能適當的增加標準差的影響。
[0081] (3)對闊值化后的顯著圖進行連通域濾波。W大小為m Xm的矩形窗，W第i行第j 列像素（ij)為中屯、截取一個鄰域，本實施例中，IU = IIdW某區域的像素個數來定義該區 域的面積，可求出處于所述鄰域范圍內的顯著區域的面積。如果該面積大于一定闊值(本實 施例中，闊值取60)，就保留該區域，否則不保留。將所有保留下來的區域作為飛機目標的候 選區域。
[0082] 步驟6:從飛機目標的候選區域提取飛機目標。
[0083] (1)構建響應矩陣
[0084] 構建一個二維的響應矩陣M，矩陣中每個元素的取值為一個二維數組Mi, j(S，r)其 中i G [1，w]，j G [1，h]，s用于記錄窗口尺寸，!用于記錄存在飛機目標的窗口所產生的SVM 響應。初始化時，該響應矩陣初始化為一個與圖像大小相同的全0矩陣。
[0085] W某個候選區域的局部像素極大值作為該候選區域的中屯、，稱為：種子點（即：可 能存在飛機目標的區域中屯、位置）。
[0086] (2)剔除無效種子點，保留最可能的飛機區域
[0087] 為提高篩選的準確率，本發明提出一種二次窗口法，具體如下：
[0088] (A)確定第一次圖像塊窗口
[0089] 該窗口是一個W種子點為中屯、的矩形窗口，窗口的尺寸為hiXhi，其中：
[0090]
巧）
[0091] 其中，into函數表示四舍五入取整。W該窗口對原圖像進行截取，將截取到的圖 像塊縮放為33X33大小，提取圖像塊的HOG特征，然后將HOG特征代入到SVM分類器中，計算 SVM分類器響應值ri。
[0092] (B)確定第二次圖像塊窗口
[0093] 該窗口是一個W種子點為中屯、的矩形窗口，窗口的尺寸為h2Xh2,其中：
[0094] h2 = 2(hi-l)+l (10)
[00%] W該窗口對原圖像進行截取，將截取到的圖像塊縮放為a3Xa3大小，提取圖像塊的 HOG特征，然后將HOG特征代入到SVM分類器中，計算SVM分類器響應值K。
[0096] (C)判斷是否保留該區域
[0097] 如果兩次計算得到的分類器響應值均小于0,則認為該種子點對應的飛機候選區 域無效，因此剔除該無效種子點。
[0098] 否則，認為窗口包含的區域存在飛機或包含了飛機的大部分機身，可將該兩次響 應中的較大值賦值到所述響應矩陣中種子點對應的坐標位置上，該點稱為響應矩陣的種子 點，并記錄下該響應對應的窗口尺寸。具體地，設當前坐標為：（u，v)，將需要記錄的SVM分類 器響應值，賦給響應矩陣的種子點處元素M(u，V)的二維數組中的r值;將產生該響應時對應 的截取窗口尺寸中的正方形邊長值，賦給響應矩陣的種子點處元素M(u，v)的二維數組中的 S值。
[0099] (3)優化響應矩陣，確定飛機區域
[0100] (A)優化每個種子點中記錄的窗口尺寸
[0101] 對毎一個晌巧巧隨的種子點，先根據W下公式計算變換后的窗口邊長值h3:
[0102]
(U)
[0103] W響應矩陣的種子點處的坐標為中屯、，Wh3Xh3為窗口尺寸建立截取窗口對原圖 像進行截取，將截取到的圖像塊縮放為曰3 X曰3大小，提取圖像塊的HOG特征，然后將HOG特征 代入到SVM分類器中，計算SVM分類器響應值n。
[0104] 再根據W下公式計算變換后的窗口邊長值h4:
[010 引
（12)
[0106] W響應矩陣的種子點處的坐標為中屯、，Wh4Xh4為窗口尺寸建立截取窗口對原圖 像進行截取，將截取到的圖像塊縮放為曰3 X曰3大小，提取圖像塊的HOG特征，然后將HOG特征 代入到SVM分類器中，計算SVM分類器響應值r4。
[0107] 找出r，n，T4中的最大值，替換響應矩陣的種子點處元素的二維數組中原有的r值， W所述新的r值對應的窗口邊長值替換響應矩陣的種子點處元素的二維數組中原有的S值。
[0108] (B)確定飛機區域，得到最終目標檢測結果
[0109]依據優化后的響應矩陣，W響應矩陣的種子點處記錄的坐標作為原圖像中飛機目 標所在正方形區域的中屯、，W該種子點處記錄的S值作為原圖像中飛機目標所在正方形區 域的邊長，即可確定每個飛機區域，得到最終的飛機目標檢測結果。
【主權項】
1. 一種基于圖像顯著性與SVM的飛機目標檢測方法，其特征在于步驟如下： 步驟1、數據準備:從公眾可獲得的各類圖像中選取可見光機場圖像作為訓練樣本及待 檢測目標圖集，并轉換為灰度圖，圖中飛機的最大外接正方形的尺寸從最小值:ai Xai，至最 大值為a2Xa2;選取部分圖像作為訓練樣本，將圖像中飛機區域切割后作為正樣本，其他區 域切割后作為負樣本;剩余的部分圖像作為測試樣本;所述的訓練的樣本縮放為a 3Xa3大小 的尺寸； 步驟2:分別提取正負訓練樣本的HOG特征； 步驟3:將提取到的每一個正負樣本的HOG特征與其類別標簽，正樣本為1，負樣本為-1 組合成一個向量，訓練SVM分類器； 步驟4:采用基于剩余譜理論的顯著性檢測方法獲取測試樣本中圖像的顯著圖； 步驟5:通過面積閾值化方法提取顯著圖中的連通域，產生飛機目標的候選區域，過程 如下： 步驟5a:首先計算顯著圖的均值&和方差7: 其中，w表示圖像的寬，h表示圖像的高，Sal(i，j)表示顯著圖中第i行第j列的像素值； 步驟5b:利用顯著圖的均值i和方差歹計算閾值T，以該閾值T分割顯著圖；所述閾值T:系數k是為了平衡標準差表和均值;?在閾值T取值時的權重A = expC-i715); 步驟5c、對閾值化后的顯著圖進行連通域濾波：以大小為mXm的矩形窗，以第i行第j 列像素（i，j)為中心截取一個鄰域；以某區域的像素個數來定義該區域的面積，求出處于所 述鄰域范圍內的顯著區域的面積;如果該面積大于一定閾值，就保留該區域，否則不保留； 將所有保留下來的區域作為飛機目標的候選區域； 步驟6:從飛機目標的候選區域提取飛機目標，過程如下： 步驟6a、構建響應矩陣： 構建一個二維的響應矩陣M，矩陣中每個元素的取值為一個二維數組Mi, j(s，r)其中ie [1，w]，je [1，h]，s用于記錄窗口尺寸，r用于記錄存在飛機目標的窗口所產生的SVM響應； 初始化時，該響應矩陣初始化為一個與圖像大小相同的全〇矩陣； 以任一候選區域的局部像素極大值作為該候選區域的中心，稱為:種子點； 步驟6b、二次窗口法剔除無效種子點，保留最可能的飛機區域，過程如下： (A)確定第一次圖像塊窗口：窗口是一個以種子點為中心的矩形窗口，窗口的尺寸為In Xlu，其中：其中，int()函數表示四舍五入取整。以該窗口對原圖像進行截取，將截取到的圖像塊 縮放為a3 Xa3大小，提取圖像塊的HOG特征，然后將HOG特征代入到SVM分類器中，計算SVM分 類器響應值η; (Β)確定第二次圖像塊窗口 ：窗口是一個以種子點為中心的矩形窗口，窗口的尺寸為^ Xh2,其中： h2 = 2(hi_l)+l 以該窗口對原圖像進行截取，將截取到的圖像塊縮放為a3Xa3大小，提取圖像塊的HOG 特征，然后將HOG特征代入到SVM分類器中，計算SVM分類器響應值r2; (C)判斷是否保留該區域： 如果兩次計算得到的分類器響應值均小于0,則認為該種子點對應的飛機候選區域無 效，因此剔除該無效種子點； 否則，認為窗口包含的區域存在飛機或包含了飛機的大部分機身，將該兩次響應中的 較大值賦值到響應矩陣中種子點對應的坐標位置上，稱為響應矩陣的種子點，并記錄下該 響應對應的窗口尺寸;具體地，設當前坐標為：（u，v)，將需要記錄的SVM分類器響應值，賦給 響應矩陣的種子點處元素M(u，v)的二維數組中的r值;將產生該響應時對應的截取窗口尺 寸中的正方形邊長值，賦給響應矩陣的種子點處元素M(u，v)的二維數組中的s值； 步驟6c、優化響應矩陣，確定飛機區域： (1) 優化每個種子點中記錄的窗口尺寸： 對每一個響應矩陣的種子點，先根據以下公式計算變換后的窗口邊長值h3:以響應矩陣的種子點處的坐標為中心，以h3 Xh3為窗口尺寸建立截取窗口對原圖像進 行截取，將截取到的圖像塊縮放為a3 Xa3大小，提取圖像塊的HOG特征，然后將HOG特征代入 到SVM分類器中，計算SVM分類器響應值r 3; 再根據以下公式計算變換后的窗口邊長值h4:以響應矩陣的種子點處的坐標為中心，以h4Xh4為窗口尺寸建立截取窗口對原圖像進 行截取，將截取到的圖像塊縮放為a3 Xa3大小，提取圖像塊的HOG特征，然后將HOG特征代入 到SVM分類器中，計算SVM分類器響應值r4; 找出r，r3，r4中的最大值，替換響應矩陣的種子點處元素的二維數組中原有的r值，以所 述新的r值對應的窗口邊長值替換響應矩陣的種子點處元素的二維數組中原有的s值； 確定飛機區域，得到最終目標檢測結果； (2) 依據優化后的響應矩陣，以響應矩陣的種子點處記錄的坐標作為原圖像中飛機目 標所在正方形區域的中心，以該種子點處記錄的s值作為原圖像中飛機目標所在正方形區 域的邊長，即可確定每個飛機區域，得到最終的飛機目標檢測結果。
【文檔編號】G06K9/46GK105956592SQ201610303628
【公開日】2016年9月21日
【申請日】2016年5月10日
【發明人】李映, 聶金苗, 陳迪
【申請人】西北工業大學