一種光場圖像的顯著性檢測方法
【專利說明】-種光場圖像的顯著性檢測方法 【技術領域】
[0001] 本發明設及計算機視覺領域，具體設及一種光場圖像的顯著性檢測方法。 【【背景技術】】
[0002] 當你拿起手機或者照相機拍照的時候，你會發現取景框自動將人臉部分圈起來。 運屬于臉部檢測，是一種W檢測出人臉為目標的圖像分析與處理過程，它模擬人在注視一 幅圖像時對于感興趣部分的關注。
[0003] 顯著性檢驗的結果一一顯著圖，被廣泛應用于計算機視覺領域，包括自動圖像分 害d、目標識別、高效圖像縮略和基于上下文的圖像檢索等，是很重要的圖像預處理步驟。
[0004] 現有的顯著性檢驗算法大多數建立在一些前提之上，如前景與背景相差甚遠、背 景相對平滑且簡單、前景無遮擋等。然而現實生活中很多場景并不能滿足運些條件。 【
【發明內容】
】
[0005] 為了解決現有顯著性算法無法有效處理的圖像如前景和背景顏色紋理相似度高、 背景紛繁復雜，前景受到遮擋等情況，本發明提出了一種光場圖像的顯著性檢測方法。
[0006] -種光場圖像的顯著性檢測方法，包括如下步驟：
[0007] S1、對光場圖像的不同位置進行重聚焦得到N個聚焦圖像，將所述N個聚焦圖像融 合得到全聚焦圖像，N為正整數；
[000引S2、計算每個聚焦圖像中各個像素點的聚焦度F(x，y):
[0009] /'，(、'，〇 =火訂護；
[0010]其中，X和y分另懐示像素點(x，y)的橫坐標和縱坐標，Gx和Gy分另懐示像素點(x，y) X方向和y方向的灰度梯度值；
[0011] S3、對于每一個聚焦圖像：
[OOK]其中，h和W分另懐示聚焦圖像的高度和寬度；
[0014] S4、計算每個聚焦圖像的背景層近似度：
[001引其中，BLS(P)為第i個聚焦圖像P的背景層近似度，化(.r)和D; a)分別表示第i個 聚焦圖像的Dx和Dy，A為系數；
[0019] S5、將最大的背景層近似度化S(P)對應的聚焦圖像作為所述全聚焦圖像的背景 層。
[0020] 在一個實施例中，
[0021] 在步驟S5之后還包括如下步驟：
[0022] S6、計算每個聚焦圖像的目標系數：
[0025]其中，y和O分別表示高斯系數，OS(P)表示第i個聚焦圖像的目標系數；
[00%] S7、計算每個聚焦圖像的前景近似度系數：
[0027] FLS(P)=OS(P) ? (I-BLS(P));
[002引其中，FLS(P)表示第i個聚焦圖像P的前景近似度系數；
[0029] S8、將大于前景近似度系數闊值的前景近似度系數對應的聚焦圖像作為所述全聚 焦圖像的候選前景層。
[0030] 在一個實施例中，
[0031] 在步驟S8后還包括如下步驟：
[0032 ] S9、計算背景層中的背景區域信息：
[0034] 其中，r表示全聚焦圖像的超像素區域，FB(r)表示背景層的超像素區域r的聚焦 度，Pr是區域r的中屯、點，C表示背景層圖像的中屯、點，丫是系數。
[0035] S10、對背景區域信息值按從小到大的順序進行排序，取前K個BC值所在區域作為 顯著區，后D個BC值所在區域作為背景區，其中K+D = Nbc，Nb功超像素的個數。
[0036] 在一個實施例中，
[0037] 在步驟SlO后還包括如下步驟：
[0038] S11、對于顯著區域，計算位置信息：
[0039] LC(r)=e邱(-0- BC(r));其中，LC(r)表示作為顯著區的超像素區域r的位置信 息，e為系數；
[0040] S12、計算基于顏色差異的顯著圖：
[0041] Sc(r)=HV(r) ? LC(r)
[0042] 其中，
[0043] 5(r ,r')=max{|red(r)-red(r') |^,|green(r)-green(r') |^,|blue(r)-blue(r') 門；其中，r'表示作為背景區域的超像素區域，red(r)和red(r'）分別表示區域r和r'的紅 色分量，旨'6611(1')和旨'66]1(1''）分別表示區域1'和1''的綠色分量，131116(1')和131116(1''）分別表 示區域r和r'的藍色分量；
[0044] S13、計算前景線索：
[0045] S; (r) = F： (/?) LC{r)：
[0046] 其中，if (r)表示第j個候選前景層的作為前景區域的超像素區域r的聚焦度， 式(r)表示第j個候選前景層的作為前景區域的超像素區域r的前景線索；
[0047] S14、計算全聚焦圖像的顯著區S(r):
[004引 S(r)=堂 ir,. -i- .嚇.5'(（叫； -仁1
[0049] 其中，wj、wc和Ox為參數。
[(K)加]在一個實施例中，
[0051] y取每個聚焦圖像中當Dx達到峰值時的橫坐標。
[0化2] 在一個實施例中，
[0053] y取每個聚焦圖像中當Dy達到峰值時的縱坐標。
[0化4] 在一個實施例中，
[005引 丫=max( Mpr-c||2)。
[0056] 跟W往使用普通相機拍出的圖像作為輸入不同，本發明中，使用Lyho光場相機拍 出的圖像作為輸入。光場是包含空間中每一條光線傳播到每一點的信息的總體。光場成像 與傳統成像相比，由于克服了對物理器件的依賴，更多地借助于數學工具，任何深度的光場 圖像都可W通過對光場的積分得到，因此光場圖像具有大景深的特點。此外，光場圖像還可 W進行拍照后重聚焦。運兩個特點使光場圖像可W為顯著性檢驗提供豐富的景深信息和聚 焦度信息，對準確得到顯著圖有很大幫助。
[0057] 利用光場圖像具有的豐富的聚焦度信息和深度信息，能夠將背景準確地檢測并分 離出來，能對前景信息進行顏色對比度等處理從而獲取到準確的顯著圖。
[005引本發明充分利用光場圖像中包含的聚焦度信息和深度信息，有利于將圖像中顯著 性目標的邊緣及內部信息準確地提取并表示出來。
[0059] 另外，本發明借助梯度函數求圖像聚焦度，大大提高了運算效率，也使邊緣檢測更 加準確。
[0060] 此外，本發明提出顯著性目標只有一個的假設，并在此假設的基礎上抑制異常值。 【【具體實施方式】】
[0061 ] W下對發明的較佳實施例作進一步詳細說明。
[0062] -種光場圖像的顯著性檢測方法，包括如下步驟：
[0063] S1、用光場相機拍攝得到的光場圖像，對光場圖像的不同位置進行重聚焦得到N個 聚焦圖像，N個聚焦圖像構成一個聚焦找，然后將聚焦找里的聚焦圖像進行融合得到全聚焦 圖像，從而將聚焦找內的聚焦圖像和全聚焦圖像作為輸入。
[0064] 聚焦找{Il}，i = l，…，N，^表示聚焦圖像，I^表示合成的全聚焦圖像。在一個實施 例中，最終的目標是計算出關于勺顯著圖。首先使用mean-shift算法將全聚焦圖像分割 成一系列互不重疊的超像素（多個像素組成的一個區域），對于我們使用的360*360的圖像 一般是300多塊。運種分割有助于保持邊緣一致性和合適的間隔尺寸。用(x，y)代表一個像 素點，r代表一個超像素區域。本步驟得到了分割后各超像素區域的位置、中屯、點、RGB顏色 (由顏色特征提取得到的前=維數據組成）W及區域個數、梯度。
[0065] S2、計算每個聚焦圖像的每個像素點的聚焦度
[0066] 對于聚焦找中的每幅聚焦圖像r，分別計算每個像素點的聚焦度，得到一個與聚 焦圖像大小一致的二維矩陣表示整幅聚焦圖像的聚焦度，顯然矩陣中準確對焦的區域對應 的數值大，表現在聚焦度圖像上就是亮度高。
[0067] 由現有圖像清晰度評價算法可知，當圖像清晰時，在空間域表現為各相鄰像素點 之間灰度值差別大，可W使用基于空間域特征的評價函數來表示其清晰度(也即聚焦度）。 此處借助于梯度方法來對聚焦找中各層(個)聚焦圖像進行聚焦度評估。
[0068] 對于聚焦找中的一幅圖像r，將其轉換為灰度圖像Igrayi,然后對灰度圖像的每一 個像素點求灰度梯度值：
[0069] 6山，1〇 = 1邑腳71〇,4+1)-1邑腳71〇，1〇，若1^ = 1
[0070] Gx( j，k) = Igrayi(j，k)-Igrayi(j，k-1 )，若k =最大縱坐標值
,違^二其他值
[0072] 6、〇'，1〇表示像素點〇，1〇在義方向上的灰度值，同理，求出像素點〇，1〇在7方向上 的灰度值Gy(j，k)。因此，針對任一個像素點(x，y)，其聚焦度F(x，y):
[007；3]巧《，分二 巧2 +巧2
[0074] 進而可W求出聚焦圖像的聚焦度矩陣。
[0075] 與之前使用頻域濾波W檢測出聚焦清晰區域的方法(因為清晰度越高圖像含有的 高頻分量越多，在DCT變換矩陣中表現為左上角亮度高，右下角亮度低)相比，梯度法原理簡 單，算法運行效率高，且能準確檢測出顯著性目標邊緣。
[0076] 得到聚焦度矩陣之后，可W基于兩個濾波器選出聚焦找中的背景層和候選前景 層。此處之所W稱為候選前景層，是因為前景目標景深比較大，包含的層數不止一層，故選 出若干層。
[0077] 因為合成聚焦找中的多層聚焦圖像的過程并未設及任何深度信息，所W最遠的聚 焦圖像層并不等于背景層，或許該層不包含任何聚焦的物體。另外含有最遠的準確聚焦物 體的層也不等于背景層，比如該物體是一個與所有物體無關的異常存在。此處使用的方法 是基于聚焦物體在圖像中的位置來分析它的分布。如果聚焦物體的大部分像素均靠近圖像 邊界，那該物體屬于背景區的可能性很大。因此我們遍歷整個聚焦找來分析。對于每一層圖 像P，將它的聚焦度值分別沿著X軸和y軸相加得到兩個一維聚焦度分布：
[0080] 其中，h和W分別表示聚焦圖像的高度和寬度，a=2xI：yF(x，y)是標準化因子。
[0081] 如前所述，顯著性目標更趨向于分布在圖像的中央附近，由此可推得聚焦找中的 背景層(某個聚焦圖像)邊界處的聚焦度會高。故背景層邊緣處的Dx和Dy值會高，而中央附近 的Dx和Dy值會低。為了凸顯各層不同的聚焦度分布，采用兩個濾波器對一維聚焦度分布進行 濾波。
[0082] 利用U型濾波器U對一維聚焦度分布進行濾波：
[0085] n是限制帶寬的常數，取決于圖像分辨率。對于輸入圖像分辨率為360*360的情況， n取為10。由于背景層的Dx和Dy值在邊界處比較高，與U型濾波器相對應，故U型濾波器用于抑 制候選前景層的聚焦度