基于區域分割的視頻顯著性檢測方法
【專利摘要】本發明公開了一種區域分割的視頻顯著性檢測方法，主要解決現有視頻顯著性檢測方法檢測準確率低的問題，其步驟是：1.對視頻幀進行線性迭代聚類，得到超像素塊，提取超像素塊靜態特征；2.利用變分光流法，得到超像素塊的動態特征；3.將靜態特征和動態特征進行融合得到特征矩陣，再對特征矩陣進行K?means聚類；4.對每一類分別進行線性回歸模型訓練，得到回歸模型，5.用回歸模型重建測試集樣本與顯著性程度的映射關系得到測試集超像素塊的顯著值，進而得到測試序列的顯著圖。本發明相較于傳統的視頻顯著性算法，增強了特征空間和時間表征能力，降低了光照對檢測效果的影響，可用于視頻目標跟蹤、視頻分割的前期預處理。
【專利說明】
基于區域分割的視頻顯著性檢測方法
技術領域
[0001] 本發明屬于圖像處理技術領域，更進一步涉及一種視頻顯著性檢測方法，可用于 目標跟蹤、物體識別和視頻分割。
【背景技術】
[0002] 計算機在處理復雜場景問題時，背景的復雜性使得現有的一些方法不能對場景進 行更好的處理。研究發現，人類視覺系統能夠輕松地理解各種復雜場景，因此在處理復雜場 景的相關問題時可以借鑒人類系統的工作原理。學者對人類視覺注意選擇機制進行深入地 研究和推理后得到視覺顯著性理論，該理論認為人類視覺系統只詳細處理圖像的某些局 部，而對圖像的其余部分幾乎視而不見。基于此理論，計算機視覺領域的相關學者提出了對 圖像或者視頻中人類感興趣區域的檢測，目前該領域已成為研究的熱門。其中顯著性算法 在檢測效果和運算速度上都有突出的表現，因而受到研究者們的廣泛關注。視頻顯著區域 提取是視頻監控、人類行為認知和視頻檢索等視頻分析過程中的重要的步驟。由于視頻數 據的復雜性和多樣性，視頻幀之間的強相關性和動態時變性等特點，使得視頻顯著性區域 的檢測難度增大。
[0003]目前已有的視頻顯著區域提取方法主要有以下幾種模型：
[0004] Cheng提出的視覺注意模型，該模型不僅考慮了亮度和顏色特征，而且還添加了運 動信息，為視頻序列顯著區域提取算法研究打下了基礎；
[0005] Guo等人提出的PQFT空時顯著性模型，簡單且快速，其應用傅里葉變換將圖像的亮 度、顏色、運動特征融合，但易受到背景紋理的干擾。為了解決這個問題，Cui等人提出了一 種基于SR的空時顯著區域快速提取算法，以X-T和Y-T兩個方向的時間切片來表示動態信 息，從而將前景目標從復雜背景中提取出來；
[0006] Seo和Milanfar提出使用自相似性在空時區域進行顯著性檢測，它是一個無參的 自底向上的模型。該模型將時間域與空間域融合，提高了檢測準確率；
[0007] Rahtu等人提出的基于條件隨機場CRF模型的顯著物體分割算法，采用了運動優先 的方法來融合動態和靜態特征，符合人們視覺注意的感知偏向；
[0008] Rudoy等人提出一種視線轉移動力學模型，利用分類器學習從一個區域跳轉到另 一個區域的概率，把概率值作為視頻的顯著值，提高了檢測速率。
[0009] 上述視頻顯著區域提取方法都是在圖像域的顯著模型上添加運動特征，其時域結 構過于簡單，序列之間關系微弱，雖然可以提取得到視頻顯著區域，但準確率和效率都比較 低。因此如何提取更加有效的視頻動態特征，并將靜態特征與動態特征有效融合是目前視 頻顯著性提取方法的重要研究內容。

【發明內容】

[0010] 本發明的目的在于針對上述方法的不足，提出一種基于區域分割的視頻顯著性檢 測方法，以有效地提高檢測準確率，提取更加有效的視頻動態特征。
[0011] 實現本發明目的的技術方案是:給定一個視頻序列，先進行SLIC超像素分割，再以 超像素塊為單位，提取顏色、紋理以及運動信息作為特征向量;取一部分序列所有塊的特征 向量作為訓練樣本，并對其進行歸一化和聚類;利用聚類后各個類的特征矩陣和類標向量 訓練對應的回歸模型;選取匹配的回歸模型重建測試樣本與顯著程度的映射關系，從而得 到測試樣本中每一個超像素塊的顯著值，進而獲取測試序列的顯著圖。其實現步驟包括如 下：
[0012] (1)輸入待檢測的視頻幀，提取每一幀圖像的靜態特征和動態特征；
[0013] (la)對輸入的圖像進行線性迭代聚類，得到超像素塊，求取每一個超像素塊中所 包含像素點的顏色特征值、直方圖特征值和紋理特征值，并用這三個特征的均值組成特征 向量作為該超像素塊的靜態特征；
[0014] (lb)將相鄰兩幀視頻圖像的紋理特征值用光流法進行差分處理，得到前一幀圖像 的光流場特征值；
[0015] (1 c)將每一幀圖像的光流場特征值分解為水平方向VX和垂直方向vy兩個特征；
[0016] (Id)計算每一個超像素塊所包含像素點水平方向vx和垂直方向vy的特征均值，并 用這兩個特征的均值組成特征向量作為該超像素塊的動態特征；
[0017] (2)將步驟(1)中得到的超像素塊靜態特征和動態特征進行融合，得到每一個超像 素塊的特征向量，對視頻序列所有超像素塊的特征向量進行歸一化，得到特征向量集F，將 視頻序列前15幀圖像所有超像素塊特征向量Fi作為訓練樣本進行K-means聚類，得到k = 5 個訓練樣本以及對應的聚類中心；
[0018] (3)把聚類得到的5個訓練樣本分別輸入到支持向量機中，訓練得到5個SVR回歸模 型；
[0019] ⑷取特征向量集？中剩余部分向量F2作為測試樣本，分別計算F2中每個向量與k個 聚類中心的歐式距離，尋找最鄰近的類，并用與該最鄰近的類相對應的SVR回歸模型測試得 到樣本F 2中每一個超像素塊對應的顯著值，構成顯著值向量；
[0020] (5)將得到的顯著值向量依次映射到測試樣本中的所有超像素塊上，得到測試序 列顯著圖。
[0021] 本發明與現有技術相比具有如下優點：
[0022] 1)本發明相對于傳統的視頻顯著性算法，在超像素級上進行特征提取與融合，增 強了特征空間和時間上的表征能力，能夠得到既完整又相對準確的目標顯著區域；
[0023] 2)本發明用局部方向模式特征代替原始幀中的亮度連續與高階連續，提取相鄰兩 幀圖像的紋理特征，作為變分光流模型的輸入，求取每一個視頻幀的動態光流場特征，降低 了光照對檢測效果的影響，在視頻數據集上獲得了較好的實驗效果。
[0024] 本發明的技術過程和效果可結合以下附圖詳細說明。
【附圖說明】
[0025] 圖1是本發明的實現不意圖；
[0026] 圖2是本發明中基于超像素塊的靜態特征提取示意圖；
[0027] 圖3是本發明中動態光流場特征提取示意圖；
[0028]圖4是本發明與不同視頻顯著性方法的結果對比圖；
[0029] 圖5是本發明與不同算法的P-R曲線；
[0030] 圖6是本發明與不同算法的R0C曲線和對應AUC值的直方圖；
【具體實施方式】
[0031] 參照圖1，本發明基于區域分割的視頻顯著性檢測方法，包括如下步驟：
[0032] 步驟一，獲取視頻序列的超像素塊。
[0033] 1.1)對視頻分割數據庫中的視頻進行分幀，得到視頻序列；
[0034] 1.2)對視頻序列進行簡單的線性迭代聚類SLIC，得到視頻序列的超像素塊，該簡 單的線性迭代聚類算法根據像素點之間的顏色相似性與鄰近性進行分簇，不僅考慮了像素 點之間的空間距離，還考慮了其彩色信息的差異性。
[0035]步驟二，提取超像素塊的靜態特征。
[0036]每一個超像素塊的靜態特征，包括顏色特征值、直方圖特征值和紋理特征值。
[0037]參照圖2,本步驟的具體實現如下：
[0038] 2.1)提取顏色特征：
[0039] 2.1.1)利用matlab中的顏色函數先求得輸入視頻圖像中每一個像素點的RGB顏色 特征值;再對各個超像素塊中的所有像素點顏色特征求平均，得到超像素塊的顏色特征值 Fci，其中i表示R、G、B三個顏色通道1 = 1，2,3幾1={1(1)，~1(」），~^11)}表示第1個 顏色通道中所有超像素塊的顏色特征值，fca(j)為第i個顏色通道中第j個超像素塊的顏色 特征值，j表示序列中的超像素塊j = 1，???!!，n是序列中所包含的超像素塊的數量；
[0040] 2.1.2)按下述公式對顏色特征值歸一化，得到顏色特征矩陣N〇rc；i( j):
[0042]其中，p表示Fci，maxP和minP分別是R、G、B三個顏色通道中的最大值和最小值；
[0043] 2.2)提取直方圖特征：
[0044] 2.2.1)將待求視頻圖像的顏色空間劃分成若干個小的顏色區間，使每個區間成為 直方圖的一個條狀區，并計算落在每個小區間的像素數量得到顏色直方圖；再對各個超像 素塊中的所有像素點直方圖特征求平均，得到超像素塊的直方圖特征值F hl，其中Fhl={fhl (1)，…fhdjh-fhdn)}表示第i個特征向量中所有超像素塊的直方圖特征值，fhl(j)為第i 個特征向量中第j個超像素塊的直方圖特征值；
[0045] 2.2.2)對直方圖特征值歸一化，得到直方圖特征矩陣Norhi( j):
[0047] 其中，㈨是第i個通道中所有直方圖特征值的和； k=\
[0048] 2.3)提取紋理特征：
[0049] 2.3.1)取輸入視頻圖像的局部方向模式特征，再對各個超像素塊中的所有像素點 局部方向模式特征求平均，得到超像素塊的紋理特征值Fii，其中Fii={fli(l)，-_fli (」_)，一〇1(1〇}表示第1個特征向量中所有超像素塊的紋理特征值411(」）為第1個特征向 量中第j個超像素塊的紋理特征值；
[0050] 2.3.2)對紋理特征值歸一化，得到紋理特征矩陣Norii( j):
L〇〇52J 其中q表不Fii，maxq和minq分別是三個顏色通道紋理特征向量的最大值和最小值。 [0053]步驟三，提取超像素塊的動態特征，獲得動態特征矩陣。
[0054]參照圖3,本步驟的具體實現如下：
[0055] 3.1)用局部方向模式紋理特征代替原始視頻幀中的亮度連續與高階連續，將相鄰 兩幀視頻圖像的紋理特征值用光流法進行差分處理，得到前一幀圖像的光流場特征值，將 每一幀圖像的光流場特征值分解為水平方向vx和垂直方向vy兩個特征；
[0056] 3.2)計算每一個超像素塊所包含像素點水平方向vx和垂直方向vy的特征均值，并 用這兩個特征的均值組成特征向量作為該超像素塊的動態特征Fmz，其中z表示vx、Vy兩個方 向的特征向量z=l，2，Fm z = {fmz(l)，…fmz( j)，…fmz(n)}表示第i個特征向量中所有超像素 塊的動態特征值，fmz(j)表示第Z個特征向量中第j個超像素塊的動態特征值；
[0057] 3.3)將水平方向vx和垂直方向vy的超像素塊動態特征值歸一化，得到動態特征矩 陣N〇rmz (j):
[0059] 其中，t表示Fmz，maxt和mint分別是紋理特征向量的最大值和最小值。
[0060] 步驟四，對超像素塊的靜態特征和動態特征進行融合。
[0061] 將超像素塊靜態和動態特征向量融合后的特征矩陣用F={N〇rc；1(j)，N〇rhl(j)， Norn(j)，Normz(j)}表示，將視頻序列前15幀圖像所有超像素塊特征向量Fi作為訓練樣本進 行K-means聚類，其步驟如下：
[0062] 4 ? 1)將訓練樣本Fi表不為{region1，region2，."regions，…region" 1}，其中 region3表示F沖第s個超像素塊的特征向量，s = l，2…，nl，nl表示樣本含的超像素塊 的個數；
[0063] 4.2)將聚類中心表示為{^1，必"此，~此}，其中此表示第^"類的聚類中心，『= 1，2…，k，k表示聚類中心的個數；
[0064] 4.3)計算代8丨〇113與1^個聚類中心之間的最小歐氏距離(^):
[0065] C(s) =argminr | | regions_iir | |2，
[0066] 其中| | | |2是二范數的表示，| | regions_iir | |2表示region3與第r個聚類中心yr之間 的歐式距離，argminr表示取k個歐式距離中的最小值；
[0067] 4.4)將regi0ns添加到最小歐式距離C(s)對應的類 r中，重新計算該類的聚類中心：
[0069] 其中，表示所有屬于類r的超像素塊的集合； 5--1
[0070] 4.5)將步驟4.3)和4.4)進行迭代運算之后得到k個訓練樣本。
[0071 ]步驟五，多回歸模型訓練與測試
[0072] 5.1)用k個訓練樣本分別訓練k個回歸模型；
[0073] 5.2)對于每個測試集超像素塊，計算它與各個聚類中心的歐式距離，用最小歐式 距離對應類的回歸模型得到每一個測試超像素塊對應的顯著值；
[0074] 5.3)將得到的顯著值映射到每個測試塊中得到視頻測試序列顯著圖。
[0075]本發明的效果通過以下實驗進一步說明：
[0076] 1 ?實驗條件
[0077]實驗硬件設備:PHILIPS臺式機；
[0078] 實驗軟件平臺：Windows7操作系統下的MATLAB R2012a;
[0079] 2.實驗內容與結果
[0080] 第一步，用本發明和已有的六種視頻顯著性算法Seo、CBSal、Rahtu、PDA、Seg、GBVS 分別對視頻分割數據庫中的視頻進行顯著性檢測，各個方法對比結果如圖4所示，其中： [00811圖4(a)表示原始視頻序列，圖4(b)是用TOA方法性檢的顯著圖，圖4(c)是用Seo方 法性檢的顯著圖，圖4(d)是用Rahtu方法性檢顯著圖，圖4(e)是用Seg方法性檢的顯著圖，圖 4(f)是用GBVS方法性檢的顯著圖，圖4(g)是用CBSal方法性檢的顯著圖，圖4(h)是用本發明 檢驗的顯著圖，圖4(i)是類標顯著圖。
[0082] 第二步，采用查準率-查全率曲線Precision-Recall對圖4進行評測，結果如圖5所 示，其中圖5是這些方法的查準率-查全率曲線Precision-Recall。
[0083]第三步，為了更好的評估并且區分這些方法，進一步計算R0C曲線以及它與坐標軸 所圍區域面積AUC，結果如圖6所示，其中圖6(a)是這些方法的R0C曲線圖，圖6(b)是R0C曲線 與坐標軸所圍面積的直方圖AUC。
[0084]綜合上述評測方法，從不同的角度比較各方法之間的優劣。
[0085] 3.實驗結果分析
[0086]圖4直觀地顯示出不同方法效果上的差異：
[0087]對于第三行包含多目標的視頻，本發明不僅可提取出大目標顯著區域，而且能把 小目標顯著區域提取出來，而其余方法只能得到大目標的輪廓；
[0088]對于第四行和第五行的單目標視頻，Rahtu方法由于沒有濾去背景的影響，導致得 到的顯著區域與背景對比不強烈，使得結果出現偏差；
[0089]對于第六行視頻目標背景復雜，用Seg和CBSal方法處理時，因受到樹枝等細節的 干擾，所得結果中目標與背景融為一體，而本發明結果可以明顯看出目標的輪廓和細節信 息。
[0090] 圖5、圖6所示的Precision-Recall曲線、R0C曲線更加直觀的顯示出本發明的優越 性。
[0091]綜上，本發明所述的視頻顯著性檢測方法在該領域中明顯優于現有視頻顯著性檢 測方法。
【主權項】
1. 一種基于區域分割的視頻顯著性檢測方法，包括如下步驟： (1) 輸入待檢測的視頻帖，提取每一帖圖像的靜態特征和動態特征； (Ia)對輸入的圖像進行線性迭代聚類，得到超像素塊，求取每一個超像素塊中所包含 像素點的顏色特征值、直方圖特征值和紋理特征值，并用運=個特征的均值組成特征向量 作為該超像素塊的靜態特征； Qb)將相鄰兩帖視頻圖像的紋理特征值用光流法進行差分處理，得到前一帖圖像的光 流場特征值； (lc) 將每一帖圖像的光流場特征值分解為水平方向VX和垂直方向vy兩個特征； (ld) 計算每一個超像素塊所包含像素點水平方向VX和垂直方向vy的特征均值，并用運 兩個特征的均值組成特征向量作為該超像素塊的動態特征； (2) 將步驟(1)中得到的超像素塊靜態特征和動態特征進行融合，得到每一個超像素塊 的特征向量，對視頻序列所有超像素塊的特征向量進行歸一化，得到特征向量集F，將視頻 序列前15帖圖像所有超像素塊特征向量Fi作為訓練樣本進行K-means聚類，得到k = 5個訓 練樣本W及對應的聚類中屯、； (3) 把聚類得到的5個訓練樣本分別輸入到支持向量機中，訓練得到5個SVR回歸模型； (4) 取特征向量集F中剩余部分向量F2作為測試樣本，分別計算F2中每個向量與k個聚類 中屯、的歐式距離，尋找最鄰近的類，并用與該最鄰近的類相對應的SVR回歸模型測試得到樣 本F2中每一個超像素塊對應的顯著值，構成顯著值向量； (5) 將得到的顯著值向量依次映射到測試樣本中的所有超像素塊上，得到測試序列顯 著圖。2. 根據權利要求1中所述的方法，其中步驟（Ia)中求取超像素塊的顏色特征值，是利用 matlab中的顏色函數先求得輸入待求的視頻圖像中每一個像素點的RGB顏色特征值;再對 各個超像素塊中的所有像素點顏色特征求平均，得到超像素塊的顏色特征值。3. 根據權利要求1中所述的方法，其中步驟（Ia)中求取超像素塊的直方圖特征值，是先 將待求視頻圖像的顏色空間劃分成若干個小的顏色區間，使每個區間成為直方圖的一個條 狀區，并計算落在每個小區間的像素數量得到顏色直方圖；再對各個超像素塊中的所有像 素點直方圖特征求平均，得到超像素塊的直方圖特征值。4. 根據權利要求1中所述的方法，其中步驟（Ia)中求取超像素塊的紋理特征值，是先提 取輸入視頻圖像的局部方向模式特征，再對各個超像素塊中的所有像素點局部方向模式特 征求平均，得到超像素塊的紋理特征值。5. 根據權利要求1中所述的方法，其中步驟(2)中對視頻序列所有超像素塊特征歸一化 組成特征向量集F，按照如下步驟進行： (2a)按下述公式對顏色特征歸一化，得到顏色特征矩陣Noru(j):其中i表示R、G、BS個顏色通道i = 1，2，3，j表示序列中的超像素塊j = 1，???]!，n是序列 中所包含的超像素塊的數量，抗1=化1(1)，-屯1〇'），-屯1(1〇}表示第1個顏色通道中所有 超像素塊的顏色特征值，fu(j)為第i個顏色通道中第j個超像素塊的顏色特征值，將Fci表 示為P，maxp和minp分別是R、G、B=個顏色通道中的最大值和最小值； (2b)對直方圖特征值歸一化，得到官方閣據佈巧降Norhi (j):其中Fhi = {f hi (1)，…f hi (j)，…f hi (n) j表不第i個特祉向量中所有超像素塊的直方圖特 征值，fhi(j)為第i個特征向量中第j個超像素塊的直方圖特征值，1>州是第i個通道中所 k=l 有直方圖特征值的和。 (2c)對紋理特征值歸一化，得$||紡巧賠飾巧隨Nor。n);其中Fii = {fli(l) ,???flK j) ,???fli(n)}表示第i個特征向量中所有超像素塊的紋理特 征值，fli( j)為第i個特征向量中第j個超像素塊的紋理特征值，將Fii表示為q，maxq和minq 分別是=個顏色通道紋理特征向量的最大值和最小值； (2d)對步驟（Id)中得出水平方向VX和垂直方向vy的超像素塊動態特征值歸一化，得到 運動特征矩陣Normz(j):其中其中Z表示vx、vy兩個方向的特征向量Z = I，2，Fmz = {fmz(l)，…fmz( j)，…fmz(n)}表 示第i個特征向量中所有超像素塊的動態特征值，fmz(j)表示第Z個特征向量中第j個超像素 塊的動態特征值，將Fmz表示成t，maxt和mint分別是紋理特征向量的最大值和最小值； (2e)將上述步驟（2a)、（2b)、（2c)和（2d)得到的特征矩陣進行融合，即得到特征向量 集：F= (NorciO) ,NorhiO) ,NoriiO) ,Normz(J)}。6.根據權利要求1所述的方法，其中步驟(2)中將視頻序列前15帖圖像所有超像素塊特 征向量Fi作為訓練樣本進行K-means聚類，按照如下步驟進行： (2a)將訓練樣本Fi表示為{regioni,region2 'regions,…region"}，其中regions表示 Fi中第S個超像素塊的特征向量，S = I，nl，nl表示樣本Fi包含的超像素塊的個數； (2b)將聚類中屯、表示為…化，…化}，其中yr表示第r個類的聚類中屯、，r=l， 2…，k，k表示聚類中屯、的個數； (2c)計算regions與k個聚類中屯、之間的最小歐氏距離C^: C(S) = argminr I IregionS-UrI |2 其中I |regionS-]ir| I嗦示regions與第r個聚類中屯、Jir之間的歐式距離，argminr表示取 k個歐式距離中的最小值； (2d)將regions添加到最小歐式距離對應的類r中，重新計算該類的聚類中屯、：將新的聚類中屯、表示為|片：1，科2…啡v..,u/cj，其中表示第r個類新的聚類中屯、。 -打1 = ,.}表示所有屬于類r的超像素塊的集合； (2e)按照步驟(2c)-(2d)進行迭代，得到最優k值。
【文檔編號】G06T7/20GK105913456SQ201610224972
【公開日】2016年8月31日
【申請日】2016年4月12日
【發明人】韓冰, 魏國威, 仇文亮, 高新波, 張景滔, 王平
【申請人】西安電子科技大學