基于超圖模型的rgbd圖像顯著性檢測方法
【專利摘要】本發明公開了一種基于超圖模型的RGBD圖像顯著性檢測方法，該方法包括：對待檢測彩色圖像和深度圖像進行超像素分割，對深度圖像的每一個超像素區域進行鄰域深度對比圖的計算，依據鄰域深度對比值構建深度背景超邊；提取位于圖像邊界的超像素區域構建邊界背景超邊；計算兩個超邊的權重，并根據超圖學習算法進行超邊展開，構建誘導圖；基于誘導圖的空間鄰接關系和邊權重，利用邊界連通性先驗計算邊界背景顯著圖；采用基于元胞自動機的顯著度更新算法和結合深度先驗的融合算法得到最終的顯著性檢測圖。本發明彌補了傳統2D邊界背景先驗中的不足，利用深度信息和超圖模型進行改進，與以往結合彩色和深度信息的圖像顯著性檢測方法相比取得了更好的效果。
【專利說明】
基于超圖模型的RGBD圖像顯著性檢測方法
技術領域
[0001]本發明屬于圖像處理技術領域，具體涉及一種基于超圖模型的RGBD圖像顯著性檢 測方法。
【背景技術】
[0002] 圖像顯著性檢測是當前計算機視覺和模式識別領域的熱點課題之一。研究發現人 眼視覺機制總是能快速地提取圖像中重要的，感興趣的區域，進而對這些區域進行分析和 處理，而基本不會處理圖像中剩余的并不顯著的區域。這個原理為計算機視覺領域研究者 提供很多啟示，即可以對圖像中的顯著區域進行檢測，提取出圖像中顯著的目標進行后續 處理，節省了對全圖處理的時間，大大提高了圖像處理的效率。因此，圖像顯著性檢測可以 廣泛的應用在圖像分割，目標識別和圖像檢索等領域。
[0003] 近年來，隨著3D感知傳感器技術的發展，我們不僅可以捕獲到物體的外形和顏色 信息，而且可以得到物體的距離信息，對場景的感知能力得到了進一步的提升。Houwen Peng等人利用彩色和深度特征計算局部的對比度，然后利用區域生長算法進行顯著區域的 聚類，最后利用物體位置的先驗對結果進行改進，該方法僅將深度信息以及通過深度計算 得到的法向信息作為顏色之外的圖像特征分量，但對顏色信息對比不明顯的物體檢測效果 不好。Ran Ju等人利用深度信息，計算視差圖的各向異性中心一周邊差異實現顯著性的檢 測，但是沒有與顏色信息相結合。
[0004] 在2D顯著性檢測中，邊界背景先驗為尋找圖像中的背景區域提供了新的思路。Zhu 等人通過引入邊界聯通性的概念，衡量了不同圖像區域與圖像邊界的聯通程度，從而得到 其屬于背景的可能性。然而，該方法在背景區域被前景物體分割的時候會出現誤判，孤立的 背景區域無法檢出。
[0005] 針對當前3D顯著性檢測的不足和2D背景顯著性先驗的問題，本發明提出了基于深 度信息的背景顯著性先驗，并利用超圖模型解決了背景被分割的問題，取得了良好的效果。

【發明內容】

[0006] 本發明的目的在于克服上述現有技術的不足，彌補現有的背景先驗中深度信息的 缺失，并針對傳統2D邊界背景先驗中的不足之處，利用深度信息和超圖模型進行了改進。
[0007] 本發明的目的是通過以下技術方案來實現的：一種基于超圖模型的RGBD圖像顯著 性檢測方法，包括如下步驟：
[0008] (1)輸入待檢測彩色圖像RGB及其對應的深度信息D;待檢測彩色圖像由紅、藍、綠 三個顏色通道組成;深度信息D為彩色圖像每個像素對應的實際深度；
[0009] (2)對步驟1輸入的彩色圖像進行顏色空間轉換，由RGB顏色空間變換為CIELab顏 色空間，采用SLIC算法實現圖像的超像素分割，將圖像分割成多塊區域的集合 R =試;1 < e汾，其中ri表示分割得到的第i個區域，n表示區域總數目，z表示整 數集合；
[0010] (3)對步驟2得到的圖像超像素分割結果的每個區域ri(i = l~n)提取特征5 = [Li，ai，bi，ydi ]，其中U為區域ri內所有像素L通道的均值，ai為區域ri內所有像素a通道的均 值，bi為區域ri內所有像素b通道的均值，di為深度圖中區域ri的深度均值，y用于調整顏色 信息和深度信息的權重，具體取值以將深度信息和顏色信息取值調整為相同數量級為宜；
[0011] (4)對步驟2得到的區域集合中的每一個超像素r，計算其鄰域深度對比值NDC(r)， 得到鄰域深度對比圖：
⑴
[0013]其中exp( ?)表示指數函數，cU表示超像素區域^的平均深度值，NB⑴表示超像素 區域^的鄰域，w設置為圖像的平均深度；
[0014] (5)將步驟2得到的超像素區域視作超圖模型中的頂點V，相鄰超像素區域之間的 聯系視作超圖中的邊e，構建超圖模型H(V，E)，V代表頂點集合，E代表超邊集合，當區域^的 鄰域深度對比值低于設定的閾值印寸，將加入到深度背景超邊e d中，其中閾值0取值范圍為 [0,0.5]，由用戶設定：
[0015] H(vi,ed) = ls.t.NDC(vi)<9 (2)
[0016] (6)計算步驟5得到的深度背景超邊ed的權重《 (ed):
[0017] ⑴(~m、in 乂咖.'（'，）） ⑶ TT V-..-. E.l\- { Vf )
[0018] 其中，drgbd (i，j)表示Vi和Vj對應的超像素區域特征的歐氏距離：
[0019] drgbd(i,j)= | |fi-fj| h (4)
[0020] (7)對步驟5得到的深度背景超邊進行展開得到誘導圖，超邊中任意兩個超像素區 域^和^在誘導圖中都彼此相連，誘導圖的鄰接矩陣A IC為：
[0021] 'm,') _.i (5) eeE or v?e7VS(r;)
[0022] 連接區域ri和區域rj的邊的權重為：
[0023] d；gbd (i, j) = Y,ee￡A, v. e<? w(e) / deg(e) (6)
[0024] 其中deg(e)為超邊e的度，即超邊e內包含的頂點數量；
[0025] (8)計算任意兩個超像素p和q的最短路徑代價dgeci(p，q)為： k-1
[0026] d'H,o{p，q)_: min 々；(/,/ +1) = 1 (7) Pl=P-P2--P^l~~^
[0027] 其中k為最短路徑經過的頂點的數量。
[0028] (9)對每一個超像素r，計算其邊界連通性值BndCon(r)，得到邊界背景顯著圖：
(8) (9J (10)
[0032] 當ri位于圖像的邊緣時，5(riGBnd) = 1，否則5(riGBnd) = 0,參數〇cir取值范圍為 [5，15]，由用戶設定；
[0033] (10)將步驟4得到的鄰域深度對比圖NDC和步驟9得到的邊界背景顯著圖BndCon分 別采用基于元胞自動機的更新算法，分別得到更新后的結果Sd和SB;
[0034] (11)采用結合深度先驗的融合算法，融合SD和SB，得到最終的顯著性圖像。
[0035] 進一步地，步驟10中的基于元胞自動機的更新算法，其更新規則為：
[0036] st+i = cst+Q_c)F*st
[0037] 其中的I為單位矩陣，t表示更新次數，St表示經過t次更新后所有超像素的顯著度 向量。
[0038] 定義F=[f^]nXn為影響因子矩陣，其中的元素為：
[0040] 其中，〇f2取值由用戶設定，可設置為超像素區域特征歐氏距離的方差；
[0041] 為了對影響因子進行歸一化，定義對角矩陣D = diag{di，d2, . . .，dn}，其中di= E 式^。經過行歸一化的影響因子矩陣產為：
[0042] p* = D_1F
[0043] 一致性矩陣C = diag{C1，c2, . . .，cn}為對角矩陣，其中元素的設置方法如下：
[0044] Ci=1.6X |St=°(i)-0.5|+0.1
[0045]其中，St=()(i)表示初始顯著圖中超像素ri的顯著度；
[0046]進一步地，步驟11中的結合深度先驗的融合算法具體方法如下：
[0047]分別對顯著圖Sd和SB進行0TSU閾值分割，將兩者轉換成二值圖；分別統計兩個二值 圖中取值為1的超像素區域的數量，選取其中的較小值作為前景區域的提取數量m;在Sd和SB 選取顯著度最高的m個區域作為對應的前景區域，組成集合Vd和Vb;
[0048]在這兩個前景集合VD和VB的基礎上，得到融合前景集合Rfg;若V D和VB對應區域的重 疊率大于閾值K(取值范圍[0.6，0.8]，由用戶設定），融合前景集合Rfg為兩個集合的并集;若 V D和VB對應區域的重疊率小于閾值K，融合前景集合Rfg為兩者中平均深度較小的那個區域 集合；
[0049] 即： VD[jVB, max(\VD nrfl|/|^|)>X
[0050] %= ￥n , d(Vn)<d(VH) 6,(【'，)）
[0051]設置元胞自動機的更新初始值為51:=() = 5[3.3卩。一致性矩陣0 = (1138{01，02，...， cn}的元素取值方式為下： 1.6x1^,(0-5,,(0-0.5 +0.1, y,. e R,
[0052] C-=< 0.1 ,v^Rfg
[0053]進行基于元胞自動機的顯著性更新算法，得到最終的顯著性圖像。
[0054]本發明具有的有益效果是:本發明提出了基于深度信息的背景先驗，通過計算過 分割深度圖的鄰域深度對比值，從深度信息中檢出了背景區域。同時，將傳統的二維邊界背 景先驗引入RGB-D顯著性檢測工作中，并利用深度信息構建超圖模型，通過構建超邊重建了 被前景分割的背景區域的連通性，從而解決了傳統二維邊界背景先驗中背景區域被前景遮 擋分割造成的誤判問題。
【附圖說明】
[0055]圖1為本發明基于超圖模型的RGBD圖像顯著性檢測方法的流程圖。
[0056]圖2為采用現有圖像顯著性檢測方法與本發明方法進行圖像顯著性檢測后的精確 率，召回率以及F-Measure柱狀圖的對比。
【具體實施方式】
[0057]下面結合附圖與實施例對本發明進行進一步說明。
[0058]本發明基于超圖模型的RGBD圖像顯著性檢測方法，包括如下步驟：
[0059] (1)輸入待檢測彩色圖像RGB及其對應的深度信息D;待檢測彩色圖像由紅、藍、綠 三個顏色通道組成;深度信息D為彩色圖像每個像素對應的實際深度；
[0060] (2)對步驟1輸入的彩色圖像進行顏色空間轉換，由RGB顏色空間變換為CIELab顏 色空間，采用SLIC算法實現圖像的超像素分割，將圖像分割成多塊區域的集合 R =丨1-,;1 y 1： ?,/e Z},其中ri表示分割得到的第i個區域，n表示區域總數目，泛表示整 數集合；
[0061] (3)對步驟2得到的圖像超像素分割結果的每個區域ri(i = l~n)提取特征5 = [Li，ai，bi，ydi ]，其中U為區域ri內所有像素L通道的均值，ai為區域ri內所有像素a通道的均 值，bi為區域ri內所有像素b通道的均值，di為深度圖中區域ri的深度均值，y用于調整顏色 信息和深度信息的權重，具體取值以將深度信息和顏色信息取值調整為相同數量級為宜；
[0062] (4)對步驟2得到的區域集合中的每一個超像素r，計算其鄰域深度對比值NDC(r)， 得到鄰域深度對比圖：
(1):
[0064]其中exp( ?)表示指數函數，cU表示超像素區域^的平均深度值，NB(i)表示超像素 區域^的鄰域，w設置為圖像的平均深度；
[0065] (5)將步驟2得到的超像素區域視作超圖模型中的頂點V，相鄰超像素區域之間的 聯系視作超圖中的邊e，構建超圖模型H(V，E)，V代表頂點集合，E代表超邊集合，當區域^的 鄰域深度對比值低于設定的閾值印寸，將加入到深度背景超邊ed中，其中閾值0取值范圍為 [0,0.5]，由用戶設定：
[0066] H(vi,ed) = ls. t.NDC(vi)<9 (2)
[0067] (6)計算步驟5得到的深度背景超邊ed的權重co (ed):
[0068] = 'LH /Cv (^.y) (3) V^v vfeMVi)
[0069]其中，drgbd(i，j)表示Vi和Vj對應的超像素區域特征的歐氏距離：
[0070] drgbd(i,j)= | |fi-fj| h (4)
[0071] (7)對步驟5得到的深度背景超邊進行展開得到誘導圖，超邊中任意兩個超像素區 域^和^在誘導圖中都彼此相連，誘導圖的鄰接矩陣A IC為：
[0072] '(U) =1 (5) vt eeE or vteNB( \ t)
[0073] 連接區域r i和區域r j的邊的權重(A /)為：
[0074] Kgbd (i, j)= I-, w{c)! deg(^) (6)
[0075] 其中deg(e)為超邊e的度，即超邊e內包含的頂點數量；
[0076] (8)計算任意兩個超像素 p和q的最短路徑代價dge5C1(p，q)為：
[0077] d"Jp,cf) - min Ydlhi{Pi,pjtX), A,a (/,i +1) = 1 (7) P\=P^P2 / -i
[0078] 其中k為最短路徑經過的頂點的數量。
[0079] (9)對每一個超像素 r，計算其邊界連通性值BndCon(r)，得到邊界背景顯著圖：
城 (9) (10)
[0083] 當ri位于圖像的邊緣時，5(riGBnd) = 1，否則5(riGBnd) = 0,參數〇cir取值范圍為
[5，15]，由用戶設定；
[0084] (10)將步驟4得到的鄰域深度對比圖NDC和步驟9得到的邊界背景顯著圖BndCon分 別采用基于元胞自動機的更新算法，分別得到更新后的結果Sd和SB;
[0085] (11)采用結合深度先驗的融合算法，融合SD和SB，得到最終的顯著性圖像。
[0086] 進一步地，步驟10中的基于元胞自動機的更新算法，其更新規則為：
[0087] st+i = cst+Q_C)F*gt
[0088] 其中的I為單位矩陣，t表示更新次數，St表示經過t次更新后所有超像素的顯著度 向量。
[0089] 定義F=[f^]nXn為影響因子矩陣，其中的元素為：
[0091]其中，Of2取值由用戶設定，可設置為超像素區域特征歐氏距離的方差；
[0092]為了對影響因子進行歸一化，定義對角矩陣D = diag{di，d2, . . .，dn}，其中di= E 式^。經過行歸一化的影響因子矩陣產為：
[0093] p* = D_1F
[0094] 一致性矩陣C = diag{C1，c2, . . .，cn}為對角矩陣，其中元素的設置方法如下：
[0095] Ci=1.6X |St=°(i)-0.5|+0.1
[0096]其中，St=()(i)表示初始顯著圖中超像素ri的顯著度；
[0097]以NDC更新得到SD為例，具體步驟如下：
[0098] St=0 = NDC
[0099] whilet<T:
[0100] st+i = cst+Q_C)F*gt
[0101] t = t+l
[0102] Sd = S*
[0103]其中，T表示總的迭代次數，由用戶設定。
[0104] 進一步地，步驟11中的結合深度先驗的融合算法為具體方法如下：
[0105] 分別對顯著圖SD和SB進行0TSU閾值分割，將兩者轉換成二值圖；分別統計兩個二值 圖中取值為1的超像素區域的數量，選取其中的較小值作為前景區域的提取數量m;在S D和SB 選取顯著度最高的m個區域作為對應的前景區域，組成集合Vd和Vb;
[0106] 在這兩個前景集合VD和VB的基礎上，得到融合前景集合Rfg;若V D和VB對應區域的重 疊率大于閾值K(取值范圍[0.6，0.8]，由用戶設定），融合前景集合R fg為兩個集合的并集;若 VD和VB對應區域的重疊率小于閾值K，融合前景集合R fg為兩者中平均深度較小的那個區域 集合；
[0107] 即： VD[jVB, max(| Fd fl V8/\VD \\VD^VB\I\VB\)> K
[0108] VD , d(VD)<d(VB) rB , c/(vBx<j(vn)
[0109]設置元胞自動機的更新初始值為51:=() = 5[3.3卩。一致性矩陣0 = (1138{(31，02，...， cn}的元素取值方式為下： 1.6x|5/),(/)-5\)(/)-0.5j + 0.1, v； e Rltr _ 『丨 0?!
[cm]進行基于元胞自動機的顯著性更新算法，得到最終的顯著性圖像。
[0112]為了對本發明的效果進行客觀數據指標評價，我們與現有的圖像顯著性檢測方法 進行了對比實驗，并選用精確率，召回率和F-Measure三個量化評判標準對不同方法的實驗 結果進行比較分析，如圖2所示。精確率定義為被正確檢測到的顯著性像素點數目與檢測到 的顯著性像素點數目之比；召回率定義為被正確檢測到的顯著性像素點數目與真正的顯著 性像素點數目之比。一般而言，精確率和召回率通常是矛盾的，因此采用F-Measure指標綜 合反映顯著性檢測的量化結果，F-Measure的定義如下式：
[0114] 本發明實施例中取值
[0115] 由圖2可以得出，與現有的顯著性方法CRC( Global contrast based salient region detection)、RBG(Saliency optimization from robust background detection)>ACSD:(Depth saliency based on anisotropic center-surround difference)、LMH(Rgbd salient object detection:a benchmark and Algorithms)、SFP (Salient object detection in RGB-D image based on saliency fusion and propagation)、D0P(Exploiting global priors for RGB-D saliency detection)進行比 較，采用本發明圖像顯著性檢測方法(HG)的表現結果更好，能更加完整和準確的從背景中 提取顯著物體。
【主權項】
1. 一種基于超圖模型的RGK)圖像顯著性檢測方法，其特征是，包括如下步驟： (1) 輸入待檢測彩色圖像RGB及其對應的深度信息D;待檢測彩色圖像由紅、藍、綠三個 顏色通道組成;深度信息D為彩色圖像每個像素對應的實際深度； (2) 對步驟1輸入的彩色圖像進行顏色空間轉換，由RGB顏色空間變換為CIELab顏色空 間，采用S L I C算法實現圖像的超像素分割，將圖像分割成多塊區域的集合 R =忱；1 < / S ?,/G ,其中ri表示分割得到的第i個區域，η表示區域總數目，思表示整 數集合； (3) 對步驟2得到的圖像超像素分割結果的每個區域ri(i = l~η)提取特征匕=[U，ai， bi，ydi]，其中Li為區域ri內所有像素 L通道的均值，ai為區域ri內所有像素 a通道的均值，bi 為區域ri內所有像素 b通道的均值，di為深度圖中區域ri的深度均值，μ用于調整顏色信息和 深度信息的權重； (4) 對步驟2得到的區域集合中的每一個超像素 r，計算其鄰域深度對比值NDC(r)，得到 鄰域深度對比圖：CD 其中exp( ·)表示指數函數，Cl1表示超像素區域^的平均深度值，NB(i)表示超像素區域 ^的鄰域，W設置為圖像的平均深度； (5) 將步驟2得到的超像素區域視作超圖模型中的頂點V，相鄰超像素區域之間的聯系 視作超圖中的邊e，構建超圖模型H(V，E)，V代表頂點集合，E代表超邊集合，當區域^的鄰域 深度對比值低于設定的閾值Θ時，將V 1加入到深度背景超邊ed中，其中閾值Θ取值范圍為[0， 0.5]，由用戶設定： H(vi,ed) = l s.t. NDC(vi)<9 (2) (6) 計算步驟5得到的深度背景超邊ed的權重ω (ed):(3) 其中，drgbd ( i，j )表示Vi和Vj對應的超像素區域特征的歐氏距離： drgbd(i, j)= I |fi-fj| 12 (4) (7) 對步驟5得到的深度背景超邊進行展開得到誘導圖，超邊中任意兩個超像素區域^ 和^在誘導圖中都彼此相連，誘導圖的鄰接矩陣A ic為：其中deg(e)為超邊e的度，即超邊e內包含的頂點數量； (8) 計算任意兩個超像素 p和q的最短路徑代價dge3C1(p，q)為：當ri位于圖像的邊緣時，5(rieBnd) = l，否則5(rieBnd)=0,參數〇clr取值范圍為[5， 15]，由用戶設定； (10) 將步驟4得到的鄰域深度對比圖NDC和步驟9得到的邊界背景顯著圖BndCon分別采 用基于元胞自動機的更新算法，分別得到更新后的結果Sd和Sb; (11) 采用結合深度先驗的融合算法，融合Sd和Sb，得到最終的顯著性圖像。2. 如權利要求1所述的基于超圖模型的RGBD圖像顯著性檢測方法，其特征是，步驟10中 的基于元胞自動機的更新算法，其更新規則為： Sttl = CS^(I-C)FV 其中的I為單位矩陣，t表示更新次數，St表示經過t次更新后所有超像素的顯著度向量。 定義F= [f ij]nxn為影響因子矩陣，其中的元素 f ij為：其中，Of2取值由用戶設定，可設置為超像素區域特征歐氏距離的方差； 定義對角矩陣D = diag{di，d2, . . .，dn}，其中di= Σ jfij。經過行歸一化的影響因子矩陣 F*為： F* = D-1F 一致性矩陣C = diag{C1，c2, . . .，cn}為對角矩陣，其中元素的設置方法如下： Ci = I.6X |St=0(i)-〇.5|+0.1 其中，St=()(i)表示初始顯著圖中超像素 Γι的顯著度。3. 如權利要求2所述的基于超圖模型的RGBD圖像顯著性檢測方法，其特征是，步驟11中 的結合深度先驗的融合算法具體方法如下： 分別對顯著圖Sd和Sb進行OTSU閾值分割，將兩者轉換成二值圖；分別統計兩個二值圖中 取值為1的超像素區域的數量，選取其中的較小值作為前景區域的提取數量m;在Sd和Sb選取 顯著度最高的m個區域作為對應的前景區域，組成集合Vd和Vb; 在這兩個前景集合Vd和Vb的基礎上，得到融合前景集合Rfg;若Vd和Vb對應區域的重疊率 大于閾值K，融合前景集合Rf g為兩個集合的并集;若Vd和Vb對應區域的重疊率小于閾值K，融 合前景集合Rf g為兩者中平均深度較小的那個區域集合； 即：設置元胞自動機的更新初始值為St=() = SB · Sd。一致性矩陣C = diag{ci，c2, . . .，cn}的元 素取值方式為下：進行基于元胞自動機的顯著性更新算法，得到最終的顯著性圖像。
【文檔編號】G06T7/00GK105894502SQ201610191893
【公開日】2016年8月24日
【申請日】2016年3月30日
【發明人】任健強, 龔小謹
【申請人】浙江大學