本發明屬于視頻圖像修復技術領域，具體一種基于梯度融合與聚類的三維視頻圖像修復方法。

背景技術：

基于深度圖像繪制(dibr)的視圖合成是三維(3d)視頻中常用的重要技術。該技術的核心思想就是通過3d轉換處理對參考視圖的紋理圖和深度圖進行虛擬視圖的合成。由于dibr技術在生成的虛擬視點圖像時，存在暴露區域(即空洞)，嚴重影響了圖像質量。因此，如何消除空洞的效果成為人們研究的熱點。

為實現空洞的修復填充，大量的文獻提出了不同的方法。一類是通過低通濾波器實現，常用的有高斯濾波器，雙邊濾波器等，但是這類方法主要通過平滑深度圖像的梯度來減少空洞的面積，容易造成圖像的結構信息的改變，引起幾何扭曲。另一類方法是利用圖像的紋理信息對空洞進行填充，主要利用各種圖像修復技術來實，如各向同(異)性擴散、整體變分、偏微分方程(pde)、光流場、紋理合成等方法。其中，pde方法對平滑區域的恢復效果較好，但會模糊紋理細節。紋理合成技術則綜合考慮了缺損區域邊緣的結構和紋理，可以獲得一個相對較好的效果，并且對于分別屬于前景和背景區域的空洞，產生的原因不同，有針對性的采取不同的填充方式就能獲得更好的效果。

為了從原始圖像中獲得可用于填充空洞的背景信息，需對圖像進行分割，提取感興趣的信息用于空洞填充。分水嶺變換是近幾年發展起來的形態學分割方法，它保留了傳統分割方法的優點，能夠準確地獲得前景物體的邊緣信息，為后期提供了較好的預分割圖像的操作。然而，由于大多數自然彩色分布圖像具有較多的細致紋理特征，若直接采用分水嶺變換進行分割，將導致其局部最小值過多，對那些對比度不高的圖像很可能造成重要的分割線丟失。

技術實現要素：

本發明的目的是針對三維視頻圖像的空洞填充中的前景背景分割時，容易造成前景對象提取不準確而影響修復效果的不足，采用深度圖的深度梯度結構信息對原有梯度圖進行改進，并對深度圖進行k均值聚類，獲得標記圖進行標記修正，提出了一種基于梯度融合與聚類的三維視頻圖像修復方法。

本發明解決其技術問題所采取以下技術方案：

一種基于梯度融合與聚類的三維視頻圖像修復方法，其針對三維視頻圖像的空洞填充中的前景背景分割時，容易造成前景對象提取不準確而影響修復效果的不足，本發明采用分水嶺算法與標記相結合的辦法，對圖像進行分割；充分利用深度圖像的深度梯度結構信息，采用k均值聚類對梯度圖像進行標記修正，以增強對前景對象的辨別能力。具體的：結合彩色圖像和深度圖像的梯度提取，充分考慮彩色圖像的顏色特性和融合深度圖像的幾何特征，引入融合梯度，有效地表達圖像的梯度，更好地衡量富含結構及紋理部分區域樣本塊之間的特征差別；為了有效抑制分水嶺過分割現象和提取圖像的前/背景，采用標記圖像進行梯度重構優化，較好地克服了分水嶺算法的過分割現象。

與彩色圖相比，由于深度圖不受光源照射方向及物體表面的反射特性的影響，而且不存在陰影。所以，深度圖可以更準確地表現物體目標表面的三維深度信息，故結合彩色圖和深度圖的梯度信息來獲得融合梯度圖，更好地衡量富含結構及紋理部分區域樣本塊之間的特征差別。由于在分水嶺變換時，因為局部極小值對分割的影響，容易產生嚴重的過分割現象，為此，采用k均值聚類方法對深度圖進行前景標記，并對融合梯度圖進行修改優化。具體實現步驟如下：

步驟1、梯度圖像的構建

分水嶺計算方法的基本思想是把圖像看作是測地學上的拓撲地貌，圖像中每一像素的灰度值表示該點的海拔高度，每一個局部極小值及其影響區域稱為集水盆地，而集水盆地的邊界則形成分水嶺。分水嶺變換得到的是輸入圖像的集水盆圖像，集水盆之間的邊界點(即為分水嶺)。

結合彩色梯度和深度梯度來描繪圖像的結構幾何信息：

梯度圖像通常作為分水嶺變換的直接處理對象。然而，對彩色圖像的處理并不總是等于直接在顏色向量空間中的處理，分別計算圖像梯度然后形成彩色圖像可能得到與人眼視覺特性不一致的結果。因此，在彩色向量空間直接計算梯度比以單獨的分量圖像為基礎計算梯度具有更高的準確度。本發明采用彩色向量空間梯度算法，直接在rgb向量空間計算梯度。設是rgb彩色空間沿r、g、b軸的單位向量，像素沿水平方向和垂直方向的彩色梯度可用向量來表述:

根據這些矢量的點積，分別定義gxx、gyy和gxy如下：

由此可得彩色圖像的梯度圖(簡稱彩色梯度圖)為：

其中，變量θ的大小為：

與彩色圖像相比，深度圖像具有物體三維特征信息。由于深度圖像不受光源照射方向及物體表面的反射特性的影響，而且不存在陰影。所以，深度圖可以更準確地表現物體目標表面的三維深度信息。為了更好地衡量富含結構及紋理部分區域樣本塊之間的特征差別，本發明引入深度圖的深度梯度信息。

對深度圖進行梯度處理。令gdepth為深度圖像i的深度梯度圖，其中任意像素點的梯度值為：

其中，gx，gy為水平方向梯度與垂直方向梯度，其大小分別利用模板sobel算子與圖像i進行卷積計算而得。結合彩色梯度圖gcolor與深度梯度圖gdepth，本發明對彩色圖像的梯度圖重新定義(簡稱融合梯度圖)為：

g＝αgcolor+βgdepth(9)

其中，α+β＝1，在本發明中取α＝0.4，β＝0.6。

步驟2、利用k均值聚類獲得前景標記，具體如下：

為了克服分水嶺變換時，因為局部極小值對分割的影響，產生嚴重的過分割現象，還需進一步優化梯度圖像。為此，本發明采用前景標記來解決這一問題。

前景標記是指對梯度圖像中感興趣目標的區域最小值進行標記，屏蔽去除其他最小值，以達到分割感興趣區域的目的。為了能準確地提取標記，本發明采用k均值聚類方法對深度圖進行初步提取前景，獲取感興趣的目標對象。

k均值聚類算法采用迭代式的過程對像素點分配到k類簇中，使每個像素點所在的類具有最接近的均值，具有良好的簡捷性和較強的適應性。利用k均值聚類(k＝2)，將深度圖粗糙的分為兩類，白色區域為前景，黑色區域為背景。通過檢測連續幀之間的前景區域的變化，對被遮擋的背景進行更新。當利用k均值聚類對第n幀的深度圖像進行處理時，可獲得第一個前景模板。對第n+1幀進行相同處理，獲得第二個前景模板。比較第一個和第二個前景模板之間的差別，就可獲得第n幀與第n+1幀之間的前景對象的移動區域，記為以此類推，用相同的方法處理第n幀與其它剩余幀之間的前景對象移動區域(j≠n)，最后將獲得的所有前景對象移動區域進行疊加，最終獲得第n幀在整個視頻序列中的前景對象移動區域(即)。在本發明中將所提取的前景對象移動區域簡稱為第n幀的標記圖。

在獲取第n幀的標記圖后，對融合梯度圖g進行修改優化。首先，根據標記圖中的前景對象移動區域逐一找到融合梯度圖g中對應的區域，并將該區域的梯度值強制標定為局部極小值，最后得到修改優化后的梯度圖(簡稱為優化梯度圖，記為g′)。利用標記圖進行修改后的優化梯度圖減少了融合梯度圖中的前景區域的偽局部極小值的數量，從而消除由這些偽局部極小值產生的過分割現象。

步驟3、前景提取和空洞修復填充

當完成對梯度圖優化后，利用分水嶺變換，對優化梯度圖進行分割，提取前景。令iws分水嶺變換結果，即

iws＝watershed(g′)(10)

其中，watershed(·)表示分水嶺。

在此基礎上，為了有效提取動態前景對象的區域，再次利用前景標記對分水嶺變換后的圖像iws進行前景提取。若將分水嶺變換后的圖像iws中的區域定義為γi(i≥1)，利用前景標記γk對區域γi中的像素點p進行前景判斷，并計算區域γi內的前景像素點所占百分比：

然后，根據α的大小，按以下原則判斷該區域是否為前景區域：當α≥0.5時，該區域為前景區域；當α<0.5時，該區域為背景區域。

由于前景的移動，會對背景產生遮擋，因此，僅利用某一幀來完成背景的提取難度較大。為此，本發明采用幀差法獲取背景圖，具體步驟如下：

(1)對視頻序列中的每一幀進行分水嶺變換，獲得每一幀的前景區域和背景區域；

(2)選取其中一幀，逐一將該幀的前景區域與其他幀的前景區域進行比較，獲得遮擋區域；

(3)利用其他幀的背景區域對遮擋區域進行填充，最后獲得整個視頻的背景圖像。

利用式(11)對梯度圖進行前景區域的提取，用同樣的處理方法得到第n+j幀(j＝1,2,…,j≠n)前景區域。然后，對這兩幀的前景區域進行比較，由此得到因前景對象的移動產生的對背景的遮擋區域。該遮擋區域給出了從第n幀的前景區域轉變成為第n+j幀的背景區域，故可利用第n+j幀的背景區域對該遮擋區域進行填充。用類似處理方法，利用剩余其他幀j的背景區域對第n幀的前景區域進行填充后，最后獲得該視頻的背景圖像。

在對空洞進行修復填充時，對于分別屬于前景和背景區域的空洞，由于產生的原因不同，有針對性的采取不同的填充方式就能獲得更好的效果。本發明對空洞的修復填充原則是，對由前景移動產生的空洞，利用背景圖像進行填充；對非前景移動產生的空洞，則利用criminisi算法進行填充。

由于因前景移動產生的空洞主要出現前景和背景的交界處，即深度值產生大幅度跳變的區域，因此，可對深度圖像中的深度值進行檢測，確定出現空洞的位置，利用背景圖像中的相應區域對空洞進行填充。檢測深度值突變的公式如下所示：

其中，d(i,j)為點(i,j)處的深度值。對于dmask＝1,2的像素點，利用背景圖像進行填充；對于dmask＝0的像素點，利用criminisi算法進行填充。

本發明有益效果如下：

在傳統的分水嶺算法中，由于偽局部極小值對分割的影響，容易產生嚴重的過分割現象。本發明基于分水嶺算法，標記提取、梯度圖構建、前/背景提取等角度，提供一種基于梯度融合與聚類的三維視頻圖像空洞填充方法。結合彩色圖和深度圖的梯度信息能較好地考慮彩色圖像的顏色特性和融合深度圖像的幾何特征，能夠有效地表達圖像的梯度；采用k均值聚類對深度圖進行前景標記，以抑制分水嶺過分割現象。

附圖說明

圖1為本發明的流程圖。

圖2不同梯度圖像的比較。

圖3前景標記的獲取。

圖4優化前后的梯度圖比較。

圖5分水嶺變換分割結果的比較。

圖6本發明算法的背景圖像的生成。

圖7ballet序列第1幀的前景區域。

圖8breakdancer序列第10幀的前景區域。

圖9修復算法[2]和本發明算法所提取的背景圖像的比較。

圖10ballet序列和breakdancer序列中被動態前景遮擋的區域(紅色部分)。

圖11修復算法[1]、修復算法[2]和本發明算法對空洞填充修復效果的比較。

注：在本發明實施例中，為了比較本發明算法的優越性，與下列相關修復算法進行了比較。

修復算法[1]：a.criminisi,p.perezandk.toyama,"regionfillingandobjectremovalbyexemplar-basedimageinpainting,"inieeetransactionsonimageprocessing,vol.13,no.9,pp.1200-1212,sept.2004.

修復算法[2]：c.yao,t.tillo,y.zhao,j.xiao,h.baiandc.lin,"depthmapdrivenholefillingalgorithmexploitingtemporalcorrelationinformation,"inieeetransactionsonbroadcasting,vol.60,no.2,pp.394-404,june2014.

具體實施說明

下面結合附圖對本發明實施例作詳細說明。

本發明基于梯度融合與聚類的三維視頻圖像修復方法，針對三維視頻圖像的空洞填充中的前景背景分割時，容易造成前景對象提取不準確而影響修復效果的不足，本發明采用分水嶺算法與標記相結合的辦法，對圖像進行分割。首先，結合彩色圖像的顏色梯度幾何信息和深度圖像的深度梯度結構信息獲取視頻圖像的融合梯度圖；接著，為了增強對前景對象的辨別能力，采用k均值聚類對融合梯度圖進行標記修正，獲得優化梯度圖；然后，根據標記修正后的優化梯度圖，利用分水嶺變換對圖像進行分割，并結合標記圖提取前景；最后，根據鄰幀間前景對象的移動區域獲取背景圖，結合背景圖和criminisi算法對空洞進行填充，獲得最終的新視點圖像。本發明較好地克服了原有分水嶺算法在圖像分割過程中易發生的過分割現象，完整提取了前景對象的紋理信息，使修復具有更好的視覺效果，證了相對較高的結構相似性(ssim)，峰值信噪比(psnr)相比于其他修復方法提高了1～3db。下面對本發明的優選實施例作詳細說明。

在本實施例中，圖1給出了本發明的流程圖。

第一步：梯度圖像的構建。

分水嶺計算方法的基本思想是把圖像看作是測地學上的拓撲地貌，圖像中每一像素的灰度值表示該點的海拔高度，每一個局部極小值及其影響區域稱為集水盆地，而集水盆地的邊界則形成分水嶺。分水嶺變換得到的是輸入圖像的集水盆圖像，集水盆之間的邊界點(即為分水嶺)。

梯度圖像通常作為分水嶺變換的直接處理對象。然而，對彩色圖像的處理并不總是等于直接在顏色向量空間中的處理，分別計算圖像梯度然后形成彩色圖像可能得到與人眼視覺特性不一致的結果。因此，在彩色向量空間直接計算梯度比以單獨的分量圖像為基礎計算梯度具有更高的準確度。本發明采用彩色向量空間梯度算法，直接在rgb向量空間計算梯度。設是rgb彩色空間沿r、g、b軸的單位向量，像素沿水平方向和垂直方向的彩色梯度可用向量來表述:

根據這些矢量的點積，分別定義gxx、gyy和gxy如下：

由此可得彩色圖像的梯度圖(簡稱彩色梯度圖)為：

其中，變量θ的大小為：

與彩色圖像相比，深度圖像具有物體三維特征信息。由于深度圖像不受光源照射方向及物體表面的反射特性的影響，而且不存在陰影。所以，深度圖可以更準確地表現物體目標表面的三維深度信息。為了更好地衡量富含結構及紋理部分區域樣本塊之間的特征差別，本發明引入深度圖的深度梯度信息。

對深度圖進行梯度處理。令gdepth為深度圖像i的深度梯度圖，其中任意像素點的梯度值為：

其中，gx，gy為水平方向梯度與垂直方向梯度，其大小分別利用模板sobel算子與圖像i進行卷積計算而得。結合彩色梯度圖gcolor與深度梯度圖gdepth，本發明對彩色圖像的梯度圖重新定義(簡稱融合梯度圖)為：

g＝αgcolor+βgdepth(9)

其中，α+β＝1，在本發明中取α＝0.4，β＝0.6。

圖2分別給出了改進前后提取彩色圖像的梯度圖，圖2(a)是ballet視頻序列中第n幀的原始彩色圖，圖2(b)是該幀的深度圖。從圖2(c)和圖(d)中可以看出，雖然在利用式(6)獲取的彩色梯度圖gcolor中，較好地給出了彩色圖像的細節信息，但是由于前景對象與背景的顏色相近，沒有給出前景對象的邊緣特征信息。而采用式(9)獲得的融合梯度圖g，不僅給出了彩色圖像的細節信息，同時也較好地突出了前景對象。

步驟2：利用k均值聚類獲得前景標記。

為了克服分水嶺變換時，因為局部極小值對分割的影響，產生嚴重的過分割現象，還需進一步優化梯度圖像。為此，本發明采用前景標記來解決這一問題。

前景標記是指對梯度圖像中感興趣目標的區域最小值進行標記，屏蔽去除其他最小值，以達到分割感興趣區域的目的。為了能準確地提取標記，本發明采用k均值聚類方法對深度圖進行初步提取前景，獲取感興趣的目標對象。

k均值聚類算法采用迭代式的過程對像素點分配到k類簇中，使每個像素點所在的類具有最接近的均值，具有良好的簡捷性和較強的適應性。圖3給出了采用k均值聚類算法對圖2(b)深度圖的分類結果。利用k均值聚類(k＝2)，將深度圖粗糙的分為兩類，白色區域為前景，黑色區域為背景。通過檢測連續幀之間的前景區域的變化，對被遮擋的背景進行更新。當利用k均值聚類對第n幀的深度圖像進行處理時，可獲得第一個前景模板，如圖3(a)所示(白色區域)。對第n+1幀進行相同處理，獲得第二個前景模板，如圖3(b)所示(白色區域)。比較第一個和第二個前景模板之間的差別，就可獲得第n幀與第n+1幀之間的前景對象的移動區域，記為如圖3(c)所示(白色區域)。以此類推，用相同的方法處理第n幀與其它剩余幀之間的前景對象移動區域(j≠n)，最后將獲得的所有前景對象移動區域進行疊加，最終獲得第n幀在整個視頻序列中的前景對象移動區域(即)，如圖3(d)所示(白色區域)。在本發明中將所提取的前景對象移動區域簡稱為第n幀的標記圖。

在獲取第n幀的標記圖后，對融合梯度圖g(如圖2(d)所示)進行修改優化。首先，根據標記圖中的前景對象移動區域(白色區域，說明：為了便于觀察，圖中改變了相應像素點的灰度級)，逐一找到融合梯度圖g中對應的區域，并將該區域的梯度值強制標定為局部極小值，最后得到修改優化后的梯度圖(簡稱為優化梯度圖，記為g′)，如圖4(b)所示。利用標記圖進行修改后的優化梯度圖減少了融合梯度圖中的前景區域的偽局部極小值的數量，從而消除由這些偽局部極小值產生的過分割現象。

步驟3、前景提取和空洞修復填充。

當完成對梯度圖優化后，利用分水嶺變換，對優化梯度圖進行分割，提取前景。令iws分水嶺變換結果，即

iws＝watershed(g′)(10)

其中，watershed(·)表示分水嶺。圖5分別給出了融合梯度圖和優化梯度圖進行分水嶺變換后獲得的圖像分割效果。

在此基礎上，為了有效提取動態前景對象的區域，再次利用前景標記對分水嶺變換后的圖像iws進行前景提取。若將分水嶺變換后的圖像iws中的區域定義為γi(i≥1)，利用前景標記γk對區域γi中的像素點p進行前景判斷，并計算區域γi內的前景像素點所占百分比：

然后，根據α的大小，按以下原則判斷該區域是否為前景區域：當α≥0.5時，該區域為前景區域；當α<0.5時，該區域為背景區域。

由于前景的移動，會對背景產生遮擋，因此，僅利用某一幀來完成背景的提取難度較大。為此，本發明采用幀差法獲取背景圖，具體步驟如下：

(1)對視頻序列中的每一幀進行分水嶺變換，獲得每一幀的前景區域和背景區域；

(2)選取其中一幀，逐一將該幀的前景區域與其他幀的前景區域進行比較，獲得遮擋區域；

(3)利用其他幀的背景區域對遮擋區域進行填充，最后獲得整個視頻的背景圖像。

利用式(11)對梯度圖進行前景區域的提取，用同樣的處理方法得到第n+j幀(j＝1,2,…,j≠n)前景區域。然后，對這兩幀的前景區域進行比較，由此得到因前景對象的移動產生的對背景的遮擋區域。該遮擋區域給出了從第n幀的前景區域轉變成為第n+j幀的背景區域，故可利用第n+j幀的背景區域對該遮擋區域進行填充。用類似處理方法，利用剩余其他幀j的背景區域對第n幀的前景區域進行填充后，最后獲得該視頻的背景圖像。

在對空洞進行修復填充時，對于分別屬于前景和背景區域的空洞，由于產生的原因不同，有針對性的采取不同的填充方式就能獲得更好的效果。本發明對空洞的修復填充原則是，對由前景移動產生的空洞，利用背景圖像進行填充；對非前景移動產生的空洞，則利用criminisi算法進行填充。

由于因前景移動產生的空洞主要出現前景和背景的交界處，即深度值產生大幅度跳變的區域，因此，可對深度圖像中的深度值進行檢測，確定出現空洞的位置，利用背景圖像中的相應區域對空洞進行填充。檢測深度值突變的公式如下所示：

其中，d(i,j)為點(i,j)處的深度值。對于dmask＝1,2的像素點，利用背景圖像進行填充；對于dmask＝0的像素點，利用criminisi算法進行填充。

為了檢驗本發明算法的修復效果，對圖像進行了模擬仿真，并與其他算法進行了對比實驗。仿真實驗在matlab環境下進行。在對圖像修復效果進行評價時，除了采用主觀評價外，同時也采用峰值信噪比(psnr)和結構相似性(ssim)進行客觀評價。

圖7、8分別給出了兩個序列中的某一幀利用本發明算法提取的前景。圖7(a)和8(a)是經過k均值聚類(k＝2)后獲得的前景標記，圖7(b)和8(b)是利用優化梯度圖進行分水嶺變換得到的圖像分割結果，圖7(c)和8(c)是為了使分割結果可視化，將圖7(b)和8(b)中的分割圖像作為彩色圖像進行顯示，圖7(d)和8(d)則為利用前景標記對分割圖像進行前景提取獲得前景區域。從圖中可以看出，結合彩色圖像和深度圖像的梯度提取，能較好地考慮彩色圖像的顏色特性和融合深度圖像的幾何特征，有效地表達圖像的梯度；利用標記圖像進行梯度修改優化，能較好地抑制分水嶺過分割現象和有效提取圖像的前景。

圖9分別給出了利用本發明算法提取的背景圖像和修復算法[2]提取的背景圖像。從圖9(a)和9(c)中可以看出，修復算法[2]的背景圖像仍存在多余的前景信息，而且也遺留了部分前景邊緣，而利用本發明算法所獲得的背景圖像更加清晰，如圖7(b)和7(d)所示，前景對象所遮擋的背景區域被還原得比較完整，且前景對象的邊緣紋理也消除得比較完整。

圖10給出了由前景移動產生的空洞(紅色標記部分)，圖11給出了不同算法對該空洞修復填充的效果。從圖11(a)和11(b)的修復算法[1]的空洞填充效果看，僅利用圖像中相鄰的像素進行填充，容易產生模糊的效果；修復算法[2]利用提取的背景圖像進行空洞填充，卻存在較多的前景邊緣像素，如圖11(c)、(d)所示。從圖11(e)和11(f)可以看出，相比于前兩種空洞填充修復方法，本發明算法填充修復的空洞區域被還原得比較完整，且前景對象的邊緣紋理也消除得比較完整。

表1修復算法[1]、修復算法[2]和本發明算法的psnr和ssim的比較。

表1psnr和ssim的比較結果

表1分別給出了三種算法對兩個視頻序列填充修復進行新視點圖像合成的客觀評價結果(統計平均值)。從表中數據可知，相較于其他兩種空洞填充方法，本發明算法在psnr上，有著較大改善，提高了1～3db；在結構相似性(ssim)上，本發明算法也與真正的視點圖像有著較大的相似度。由此可以看出，對于由前景移動產生的空洞區域，本發明算法的填充修復能獲得較好視覺效果，具有較高的信噪比(psnr)和結構相似性(ssim)。

從以上實驗仿真數據可以看出，本發明能較好地考慮彩色圖像的顏色特性和融合深度圖像的幾何特征，能夠有效地表達圖像的梯度；利用優化梯度，能較好地抑制分水嶺過分割現象；對于由前景移動產生的空洞區域，本發明算法的填充修復能獲得較好視覺效果，保證了較高的結構相似性(ssim)，峰值信噪比(psnr)改善了1-3db。

以上對本發明的優選實施例及原理進行了詳細說明，對本領域的普通技術人員而言，依據本發明提供的思想，在具體實施方式上會有改變之處，而這些改變也應視為本發明的保護范圍。