立體匹配方法和裝置的制造方法
【專利摘要】本申請公開了一種立體匹配方法和裝置。該方法包括：確定立體圖像對的深度值范圍，其中立體圖像對包括兩幀不同視角的圖像；對立體圖像對中的至少一幀圖像進行掃描，其中在掃描期間通過鄰域傳播方式，使得該至少一幀圖像中的每個像素維持位于深度值范圍內的至少兩個深度候選值；以及從至少兩個深度候選值中選取一個深度候選值作為該像素的深度值。該實施方式通過在每個像素處維持多個深度候選值，增強了深度值計算方法，也即立體匹配方法的魯棒性。
【專利說明】
立體匹配方法和裝置
技術領域
[0001]本申請涉及計算機處理領域，具體涉及計算機視覺技術，尤其涉及立體匹配的方法和裝置。
【背景技術】
[0002]立體顯示技術包括立體成像技術和立體顯示設備技術。立體成像的原理是從多個視角獲得同一場景的圖像，通過三角測量原理計算圖像像素間的視差來獲取場景的三維信息。立體成像技術的主要內容包括圖像獲取、攝像機標定、立體匹配以及三維重建。其中立體匹配的目的是在給定兩幀圖像的內外參數的情況下計算對應圖像像素間的視差(也可以稱為深度)。立體匹配的主要方法是建立一個匹配代價函數或稱能量代價函數，通過此代價函數最小化來估計圖像像素點的視差值或深度值。
[0003]已經提出了多種立體匹配的方法。其中，一種有效的方法是采用“勝者為王”(Winner-Take-AlI，WTA)策略獲取最小化代價函數所對應的像素視差。該方法基于圖像局部最優獲取每個像素的視差。由于依賴于局部優化，WTA策略可能導致錯誤的視差值，并且對于弱紋理區域、重復紋理區域以及被遮擋的區域魯棒性較差。另外，WTA策略對于每個像素，針對深度值范圍內的每個深度值計算代價函數，這種計算非常費時，尤其是深度值數量較多時。
[0004]另一種常用的方法是基于鄰域傳播的塊匹配(patchmatch，或稱區域匹配)方法估計視差。該方法可以獲取稠密視差圖，一般包括初始化、迭代傳播和后處理三個步驟。初始化一般是在候選集中隨機選擇幾個值，然后在迭代傳播時，對于每個像素，根據現有的局部代價計算方法維護一個最佳視差值(深度值)，之后將最佳值傳播到其他像素。后處理主要是錯誤點的檢測、去除和結果的平滑。這種塊匹配方法同樣基于局部最優代價的原則，依賴于局部代價計算方法，在每個像素處得出一個最佳視差值，對于弱紋理區域、重復紋理區域以及被遮擋的區域魯棒性較差。另一方面，為保證較高的計算精度，初始化時需隨機選擇多個候選值，計算量較大。因此，如何在保證精度的同時降低候選集的大小，提升計算速度，是現有技術存在的問題。

【發明內容】

[0005]為解決上述一個或多個問題，本申請提供了一種立體匹配的方法和裝置。
[0006]第一方面，本申請提供了一種立體匹配方法，該方法包括:確定立體圖像對的深度值范圍，其中立體圖像對包括兩幀不同視角的圖像；對立體圖像對中的至少一幀圖像進行掃描，其中在掃描期間通過鄰域傳播方式，使得該至少一幀圖像中的每個像素維持位于深度值范圍內的至少兩個深度候選值；以及從該至少兩個深度候選值中選取一個深度候選值作為該像素的深度值。
[0007]在一些實施例中，確定深度值范圍可以包括:設置深度值范圍的最大值、最小值以及采樣間隔；以及針對上述至少一幀圖像中的每個像素，按照采樣間隔從深度值范圍內隨機選擇M個值作為該像素的深度候選值；并且掃描可以包括:按照掃描次序，基于鄰域關系，為每個像素確定使匹配代價最優的N個深度候選值；其中，M和N為大于I的正整數，并且M彡N。
[0008]在進一步的實施例中，為每個像素確定使匹配代價最優的N個深度候選值可以包括:將待處理像素的深度候選值與已掃描的鄰域像素的深度候選值合并為待處理像素的候選值集合；針對候選值集合中的每個深度候選值，計算匹配代價；以及根據匹配代價確定使匹配代價最優的N個深度候選值。
[0009]更進一步地，在一些實施例中，針對每個深度候選值計算匹配代價可以包括:通過平移方式，將包含待處理像素的參考采樣區域在包含對應像素的目標采樣區域內逐一匹配以計算多個匹配代價，其中目標采樣區域大于參考采樣區域；以及將多個匹配代價中最優的匹配代價作為該深度候選值的匹配代價。
[0010]更進一步地，在一些實施例中，計算多個匹配代價可以包括:根據深度候選值確定待處理像素在立體圖像對中的對應圖像上的對應像素；確定以待處理像素為中心的參考采樣區域；確定以對應像素為中心的目標采樣區域，其中目標采樣區域的大小對應于參考采樣區域以最大平移量在二維方向上平移得到的大小，最大平移量至少部分取決于采樣間隔；以及將參考采樣區域與目標采樣區域內對應于每一個平移量和每個平移方向的每個區域分別進行匹配以計算相應的匹配代價。
[0011]在一些實施例中，上述立體匹配方法還可以包括:確定對應于最優的匹配代價的平移量和平移方向；以及基于平移量和平移方向更新深度候選值。
[0012]在一些實施例中，立體匹配方法還可以包括:對所述至少一幀圖像執行多次所述掃描，其中每次掃描次序不同于前次掃描次序。
[0013]在進一步的實施例中，奇數次掃描采用第一掃描次序，偶數次掃描采用與所述第一掃描次序相反的第二掃描次序，其中第一掃描次序選自以下任一:從左到右逐行掃描的次序；從右到左逐行掃描的次序；從上到下逐列掃描的次序；以及從下到上逐列掃描的次序。
[0014]在一些實施例中，M為5，N為3。
[0015]在一些實施例中，從至少兩個深度候選值中選取一個深度候選值包括:利用全局約束在至少兩個深度候選值中選取一個最佳值作為該像素的深度值。
[0016]第二方面，本申請提供了一種立體匹配裝置。該裝置包括:初始化單元，配置用于確定立體圖像對的深度值范圍，其中立體圖像對包括兩幀不同視角的圖像；掃描單元，配置用于對立體圖像對中的至少一幀圖像進行掃描，其中在掃描期間通過鄰域傳播方式，使得至少一幀圖像中的每個像素維持位于深度值范圍內的至少兩個深度候選值；以及選取單元，配置用于從至少兩個深度候選值中選取一個深度候選值作為該像素的深度值。該裝置還可以包括配置用于執行根據本申請第一方面所述的方法的各實施方式的步驟的單元或
目.ο
[0017]本申請實施例提供的立體匹配方法，可以在每個像素處維持多個深度候選值，并將多個深度候選值傳播到其他像素，使得每個像素處的深度值估計可以不依賴于局部代價計算方法，提升了立體匹配方法的魯棒性。
[0018]在一些實施例中，通過圖像平移來模擬深度(視差)空間的采樣，從而在保持精度的同時提升了算法的速度。
【附圖說明】
[0019]通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本申請的其它特征、目的和優點將會變得更明顯:
[0020]圖1示出了根據本申請實施例的立體匹配方法的一個示例性流程圖；
[0021]圖2示出了根據本申請實施例的為每個像素確定使匹配代價最優的N個深度候選值的一個示例性實現的流程圖；
[0022]圖3示出了根據本申請實施例的針對每個深度候選值計算匹配代價的一個示例性實現的流程圖；
[0023]圖4示出了根據本申請實施例的利用圖像平移來模擬深度空間的采樣的原理性示意圖；
[0024]圖5示出了將參考采樣區域與目標采樣區域內對應于每一個平移量和每個平移方向的每個區域分別進行匹配的實現方法的一個示例；以及
[0025]圖6示出了根據本申請實施例提供的立體匹配裝置的一個實施例的結構示意圖。
【具體實施方式】
[0026]下面結合附圖和實施例對本申請作進一步的詳細說明。可以理解的是，此處所描述的具體實施例僅僅用于解釋相關發明，而非對該發明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與有關發明相關的部分。
[0027]需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結合實施例來詳細說明本申請。
[0028]如前所述，現有技術中的一些立體匹配方法非常依賴于局部代價計算方法，魯棒性不好。為了克服該缺陷，根據本申請實施例的立體匹配方法中引入了多猜想(mult1-hypothesis)機制，其中針對每個像素維護不止一個最優候選值，從而提升立體匹配方法的魯棒性。
[0029]請參考圖1，其示出了根據本申請實施例的立體匹配方法的一個示例性流程圖100。在本實施例中，對立體圖像對中兩個不同視角的圖像的像素進行匹配以計算每一個像素處的深度值。
[0030]如圖1所示，在步驟110中，確定立體圖像對的深度值范圍。
[0031]在本實施例中，立體圖像對包括兩幀不同視角的圖像。可以采用多種方式來初始地確定立體圖像對的深度值范圍。例如，可以根據兩幀不同視角的圖像中相鄰像素的灰度梯度的對應關系，或者根據圖像中的結構特性(例如直線邊緣、邊緣的交點等)關系，確定立體圖像對的深度值范圍。
[0032]在一些實施例中，可以設置深度值范圍的最大值、最小值以及采樣間隔。基于這些設置，可以得到一個深度候選值集合。換言之，在最大值和最小值所限定的深度值范圍內，利用采樣間隔進行采樣，從而得到離散的多個深度值，這些深度值構成深度候選值集合。可以理解，當采樣間隔較大時，得到的離散深度值較少，也即深度候選值集合較小；當采樣間隔較小時，得到的離散深度值較多，也即深度候選值集合較大。在本申請的一些實施例中，采樣間隔可以設置得較大而不影響立體匹配的精度，這將在后文解釋。
[0033]針對立體圖像對中將要進行掃描處理的至少一幀圖像中的每一個像素，按照采樣間隔從深度值范圍內隨機選擇M個值作為該像素的深度候選值。在一種實施例中，從深度候選值集合中隨機選擇M個值作為該像素的初始深度候選值。可以理解，M為大于I的正整數。在另一種實施例中，可以無需預先生成深度候選值集合，而是根據采樣間隔直接從深度值范圍內隨機選擇M個深度候選值。例如，當使用采樣序號來表征每個深度候選值時，只需隨機選擇M個采樣序號，然后相應地計算對應采樣序號的深度候選值。本申請在此方面沒有限制。
[0034]接著，在步驟120中，對立體圖像對中的至少一幀圖像進行掃描，在掃描期間通過鄰域傳播方式，使得該至少一幀圖像的每個像素維持位于深度值范圍內的至少兩個深度候選值。
[0035]在本實施例中，可以對立體圖像對中的其中一幀圖像執行掃描，也可以對兩幀圖像都執行掃描。在掃描期間，可以基于鄰域傳播，遍歷圖像幀的像素，使得在所掃描圖像幀的每個像素處維持至少兩個深度候選值。
[0036]在同一圖像上的幾何局部區域內，像素深度值的鄰域傳播是基于這樣一種相關性:同一圖像上幾何位置相鄰近的像素可能具有相同或相近的深度值(圖像中孤立的點除外)，即像素的深度值可能與其鄰近像素的深度值相關。基于這種相關性，在圖像掃描期間可以將像素的優選深度值傳播到鄰域像素，從而將優選結果保留下來。
[0037]在本申請的實施例中，引入多猜想機制，也即通過掃描使得每一個像素可以維持在步驟110確定的深度范圍內的至少兩個深度候選值。深度候選值的維持，或深度候選值的選擇，是通過計算匹配代價來確定的。由于立體圖像對上的兩個對應像素(一個像素在立體圖像對中的第一視角圖像上，另一個像素在立體圖像對中的第二視角圖像上)是由空間同一點投影生成，所以對應像素具有非常相似的屬性，例如顏色或灰度值的分布、通道等屬性。匹配代價可以采用各種數值化度量來表征，其中代價最優對應于度量的最大或最小。在一些實施例中，匹配代價可以是表征像素的屬性間的相似程度的相似性度量，代價最優對應于相似性度量最大。在另一些實施例中，匹配代價可以是表征像素的屬性間的差異程度的差異性度量，代價最優對應于差異性度量最小。可以基于圖像的各種屬性，例如灰度、顏色、紋理等特征來計算上述相似性或差異性度量。相似性度量例如可以包括但不限于，像素點灰度差的平方和(SSD)、像素點灰度差的絕對值和(SAD)、歸一化交叉相關(NCC)、零均值交叉相關(ZNCC)等。更具體地，一種可選的實現方式為:計算兩幀圖像對應像素的灰度相關性，以灰度相關性作為匹配代價，以作為深度值選擇的基準。例如如果設定需要維持3個深度候選值，則選擇使得兩幀圖像像素灰度相關性最好的3個深度值作為該像素的深度候選值。在另一種可選的實現方式中，以兩幀圖像的對應像素為中心，選取對應的紋理特征區域進行模板匹配，以匹配度作為匹配代價，以作為深度值選擇的基準。附加地，可以選取以該像素為中心的多個大小不同的紋理特征區域，采用多種模板匹配方法進行匹配，之后在所有獲取的匹配度中選擇至少兩個最佳匹配度所對應的深度候選值。
[0038]在一些實施例中，對圖像幀進行掃描包括:按照掃描次序，基于鄰域關系，為每個像素確定使匹配代價最優的N個深度候選值。可以理解，N為大于I的整數，并且通常M多N。可以設定一個或多個掃描次序，按照掃描次序對圖像的像素進行掃描，對當前掃描到的像素(即待處理像素)，根據該像素的初始深度候選值以及該像素的已處理的鄰域像素的深度候選值，確定使得該像素處匹配代價最優的N個深度候選值。例如可以將距離當前掃描像素一定范圍內的像素作為當前掃描像素的鄰域像素。此范圍可以是I個像素，也可以是多個像素，本申請在此方面不做限制。為了便于描述，在下文的示例中均以距離當前掃描像素I個像素范圍內的像素作為鄰域像素。已處理的鄰域像素(或已掃描的鄰域像素)可以由像素的位置以及圖像掃描次序決定。例如，當采用從左到右逐行掃描的次序掃描時，如果當前掃描到的像素為第一個像素，則該像素沒有已處理鄰域像素；如果當前掃描到的像素為非第一個像素的第一行像素，則該像素的已處理鄰域像素為其左側的相鄰像素；如果當前掃描到的像素為非第一個像素的第一列像素，則該像素的已處理鄰域像素為其上方的相鄰像素；如果當前掃描到的像素為圖像的其他位置的像素，則該像素的已處理鄰域像素為其上方和左側的相鄰像素。
[0039]可選地，可以執行多次掃描，其中每次掃描次序不同于前次掃描次序。進一步地，在一些實施例中，對圖像執行的奇數次掃描可以采用第一掃描次序，偶數次掃描可以采用與第一掃描次序相反的第二掃描次序。其中第一掃描次序可以選自以下任一:從左到右逐行掃描的次序；從右到左逐行掃描的次序；從上到下逐列掃描的次序；以及從下到上逐列掃描的次序。本領域技術人員可以理解，還可以設置其他掃描次序以對圖像像素進行遍歷，例如“回”字或螺旋式掃描等。本領域技術人員還可以理解，當進行多次掃描時，可以每次掃描次序均不相同。當掃描次序變化時，像素的已處理鄰域像素也隨之變化。例如，當對圖像幀從上到下逐列掃描時，像素的已處理鄰域像素為其左側和上方的相鄰像素；而當對圖像幀從下到上逐列掃描時，像素的已處理鄰域像素為其左側和下方的相鄰像素。
[0040]可以理解，對立體圖像對中的每一幀圖像的每次掃描都可以采用與上述掃描方法相同的處理，使得所掃描的每個像素維持至少兩個最優深度候選值。
[0041]在一些實施例中，待掃描圖像的每個像素的初始深度候選值的個數M為5，掃描后使得每個像素維持的優選深度候選值的個數N為3。換言之，針對每個像素，可以在步驟110中從深度候選值集合中隨機選擇5個值作為該像素的初始深度候選值，在步驟120中對每個像素維持位于深度值范圍內的3個深度候選值。
[0042]之后，在步驟130中，從所維持的至少兩個深度候選值中選取一個深度候選值作為該像素的深度值。
[0043]圖像中的每一個像素對應于實際場景中的一點，實際場景中的一點具有唯一的深度值。在本實施例中，可以從步驟120中所維持的至少兩個深度候選值中選取一個最佳值作為該像素的深度值的估計。可以采取多種方式來選取最佳值。在一些實施例中，可以利用全局約束在至少兩個深度候選值中選取一個最佳值作為像素的深度值。例如可以先構造一個能量函數，然后運用優化方法得到能量函數的極值，使得能量函數最小或最大的深度值就是最佳深度值。其中能量函數可以采用多種方法構造，例如動態規劃、圖割、人工智能(諸如基于神經網絡或遺傳算法)、置信度傳播等。本領域人員可以理解，可以采用各種現在已知的或未來開發的全局約束方法來選擇深度最佳值，本申請在此方面沒有限制。
[0044]上面描述了根據本申請實施例的引入多猜想機制的立體匹配方法。在本實施例中，通過鄰域傳播方式，對每個像素都維持多個深度候選值，可以使每個像素處的深度值計算不依賴于局部代價計算方法，具有更好的魯棒性。
[0045]進一步參考圖2，其示出了根據本申請實施例的為每個像素確定使匹配代價最優的N個深度候選值的一個示例性實現的流程圖200，也即示出了圖1的方法步驟120的一個示例性實現的流程圖。在本實施例中，按照掃描次序，基于鄰域關系，為每個像素確定使匹配代價最優的N個深度候選值。
[0046]如圖2所示，在步驟210中，將待處理像素的深度候選值與已掃描的鄰域像素的深度候選值合并為待處理像素的深度候選值集合。
[0047]如前面所提到的，已掃描的鄰域像素取決于當前待處理像素的位置以及圖像掃描次序。在一些實施例中，當采用逐行或逐列掃描方式時，對于大部分像素而言，其已掃描的鄰域像素存在兩個像素。在這些實施例中，對每個待處理的非圖像邊界像素和部分邊界像素，將已處理的鄰域像素所維持的N個深度候選值和為該像素隨機選擇的M個初始深度候選值合并起來，共2N+M個值，作為待處理像素的深度候選值集合。對于圖像掃描的第一個待處理像素，候選值集合中只包含在該像素處隨機選擇的M個值。對于待處理的圖像的其他邊界像素，候選值集合中包含N+M個值。
[0048]接著，在步驟220中，針對候選值集合中的每個深度候選值，計算匹配代價。
[0049]在本實施例中，匹配代價的計算可以有多種方法。在一些實現中，可以采用上文所述的選取對應像素為中心的區域，計算區域的像素值間的差異，之后再對差異取平均值方法計算匹配代價。在另一些實現中，對每一個待處理像素，可以根據深度候選值以及圖像的內外參數和極線約束計算對應像素的位置，之后以對應像素為中心，采樣對應大小的區域，分別提取對應的采樣區域的紋理特征，并計算紋理特征的匹配度。在其他的實現中，還可以計算以對應像素為中心的區域的相位匹配度或積分值向量等作為匹配代價。
[0050]在一些實施例中，可以對每個深度候選值的匹配代價進行優化。在這些實施例中，通過圖像平移來模擬深度(視差)空間的采樣，從而在保持精度的同時提升了算法的速度。在一些實現中，針對每個深度候選值計算匹配代價可以包括:通過平移方式，將包含待處理像素的參考采樣區域在包含對應像素的目標采樣區域內逐一匹配以計算多個匹配代價，其中目標采樣區域大于參考采樣區域；并將多個匹配代價中最優的匹配代價作為該深度候選值的匹配代價。可以將立體圖像對中包含待處理像素的圖像稱為參考圖像，另一幀圖像稱為目標圖像，目標圖像上與待處理像素所對應的像素稱為對應像素，包含對應像素且與參考采樣區域大小相同的區域稱為對應區域。對于某一深度候選值，可以確定目標圖像上包含對應像素的目標采樣區域，然后計算包含待處理像素的采樣區域與目標采樣區域內多個與參考采樣區域大小相同的區域的匹配代價，從多個匹配代價中選擇最優的匹配代價作為該深度值的匹配代價，其中目標采樣區域內多個與參考采樣區域大小相同的區域可以通過在二維圖像范圍內平移對應區域而生成。下文將結合圖3詳細描述如何為每個深度候選值的匹配代價進行優化。
[0051]之后，在步驟230中，根據匹配代價確定使匹配代價最優的N個深度候選值。
[0052]在本實施例中，由于在步驟220中針對深度候選值集合中的每個深度候選值計算了匹配代價，因此可以從計算得出的匹配代價中選擇N個最優匹配代價，保存其所對應的N個深度候選值，從而實現在每個像素處維持N個優選的深度候選值。例如，可以選擇N個使得采樣區域和平移后的對應區域像素值差異的平均值最小的深度值作為像素的N個深度候選值。
[0053]進一步參考圖3，其示出了根據本申請實施例的針對每個深度候選值計算或優化匹配代價的一個示例性實現的流程圖300。在本實施例中，通過在二維方向上平移對應區域并計算參考采樣區域與平移后的對應區域的匹配代價來獲得每一個深度候選值的多個匹配代價。
[0054]如圖3所示，在步驟310中，根據當前深度候選值確定待處理像素在立體圖像對中的對應圖像上的對應像素。在一些實現中，可以根據深度候選值以及圖像的內外參數和極線約束計算對應像素的位置。本領域技術人員可以理解，可以采取現在已知或未來開發的各種確定對應像素的方法，本申請在此方面沒有限制。
[0055]接著，在步驟320中，確定以待處理像素為中心的參考采樣區域。
[0056]在本實施例中，采用區域匹配的方法來確定匹配代價。因此，為了計算兩個對應像素的匹配代價，可以以它們為中心，在兩幀圖像上分別進行采樣，得到一個小的區域。例如，對每一個待處理像素，可以以該像素為中心，在圖像上采樣一定大小的區域作為參考采樣區域，也即將用于匹配的區域。參考采樣區域可以為任意形狀，例如圓形、矩形、正方形以及不規則形狀。參考采樣區域的大小可以基于計算速度和精度預先設定，也可以隨機設定。
[0057]接著，在步驟330中，確定以對應像素為中心的目標采樣區域。
[0058]在本實施例中，目標采樣區域的大小對應于參考采樣區域以最大平移量在二維方向上平移得到的大小。也即，可以根據最大平移量確定目標采樣區域。例如，如果參考采樣區域大小為SX S，最大平移量為T (其中S和T均為正數個像素)，則目標采樣區域的大小可以為(S+2XT) X (S+2XT) ο
[0059]根據立體成像的幾何約束，場景中具有某一深度值的物點在參考圖像和目標圖像上都具有唯一與其對應的像素點。當場景中該物點的深度值變化，且參考圖像的對應像素點位置不變時，目標圖像上對應像素點的位置會發生改變，例如平移一定的距離。換言之，對于不同的深度值，對應的像素看起來像在對應圖像上平移。這樣，就可以使用純二維平移來近似基于深度值的重新投影，從而無需執行三維到二維的投影和圖像重采樣。
[0060]圖4示出了根據本申請實施例的利用圖像平移來模擬深度空間的采樣的原理性示意圖。如圖4所示，立體圖像對中的第一視角圖像410為參考圖像，第二視角圖像420為目標圖像。參考圖像410中示出了包含待處理像素的參考采樣區域411。沿著待處理像素的投影線可以選擇多個深度候選值，圖4中示出了 5個深度候選值dl、d2、d3、d4和d5。針對這5個深度候選值，在目標圖像420中存在與參考采樣區域411對應的對應區域421-425，如虛線框所示。從圖4中可以看出，對于不同的深度候選值，其在目標圖像上的對應區域看起來像在目標圖像上平移。
[0061]基于這一原理，可以以多個平移量和平移方向平移目標圖像上的對應區域來模擬場景中該物點的深度值的變化。在一些實現中，可以將目標區域進行平移量范圍內的多次平移，每一次平移對應于當前深度候選值附近的一個深度值。
[0062]上述最大平移量可以至少部分取決于采樣間隔。可以理解，初始化的深度候選值中相鄰候選值之間的最小間隔取決于所設置的采樣間隔。因此，針對每個深度候選值，可以只需要在該最小間隔(也即采樣間隔)范圍內變化，以確定優選的深度候選值。相應地，目標圖像上對應區域的最大平移量可以不用超過由該采樣間隔確定平移范圍。如果深度值采樣間隔較大，則可以設定較大的最大平移量；相反如果深度值采樣間隔較小，則可以設定較小的最大平移量。在一些實現中，最大平移量可以基于如下準則設定:在對應區域以最大平移量平移后，根據平移后待處理像素和對應像素的在圖像上的位置和立體圖像的幾何約束計算深度值，該深度值與當前深度候選值之差的絕對值與采樣間隔的一半近似相等。
[0063]返回圖3，在步驟340中，將參考采樣區域與目標采樣區域內對應于每一個平移量和每個平移方向的每個區域分別進行匹配以計算相應的匹配代價。
[0064]在本實施例中，確定目標采樣區域之后，可以在目標采樣區域中搜索與采樣區域具有最大匹配代價的目標區域。例如，通過模板匹配的方式，通過局部的圖像平移來計算多個匹配代價。該目標區域的搜索可以如下進行:對每一個平移量和平移方向，將目標圖像上的對應區域以該平移方向和平移量進行平移，計算參考采樣區域與平移后的對應區域的匹配代價。其中平移方向可以是一維的方向(例如水平方向或豎直方向)，也可以是二維的方向(例如水平和豎直方向)，即可以只在水平方向或豎直方向上平移，也可以在水平和豎直方向上同時平移。
[0065]為了直觀起見，進一步參考圖5，其示出了將參考采樣區域與目標采樣區域內對應于每一個平移量和每個平移方向的每個區域分別進行匹配的實現方法的一個示例。如圖5所示，510和520為立體圖像對的兩幀圖像，其中510為參考圖像，520為目標圖像。以參考圖像510中的待處理像素P(x，y)為中心，選擇例如3X3大小的區域作為參考采樣區域511，設置最大平移量為1，則目標采樣區域531為以對應像素P’ (x5’y5)為中心、5X 5大小的區域。為了模擬深度值的多個采樣，在目標采樣區域531內對包含對應像素P’ (x5, y5)的對應區域進行平移，使對應區域的中心位置分別位于(X^y1), (x2,12), (χ3, y3) ^ (χ4，h)，(x6，y6)，(x7，y7)，(x8, y8)以及(x9，y9)，可以依次對參考采樣區域511與每一次平移后的對應區域(例如將 511 依次與 521、522、523 等 9 個分別以(Xl，Y1)，(x2, y2)，(x3, y3)，(x4, y4)，(x5, y5)，(x6, y6)，(x7, y7)，(x8, y8)和(x9, y9)為中心的3X3大小的區域)進行匹配，計算相應的匹配代價。遍歷所有平移的對應區域之后，得到9個匹配代價。
[0066]接著返回圖3，在步驟350中，將所計算的多個匹配代價中最優的匹配代價作為當前深度候選值的匹配代價。
[0067]通過上述計算多個匹配代價的方法(也即步驟310到340)，本申請實施例提供的立體匹配方法可以為每個深度候選值計算出多個匹配代價。這種計算方法通過圖像平移來模擬深度(視差)空間的采樣，這樣就可以使用純二維平移來近似基于深度值的重新投影，從而無需執行三維到二維的投影和圖像重采樣，在保持精度的同時提升了算法的速度。歸因于這種圖像平移，在本申請實施例的立體匹配方法中，初始化時可以設置較大的采樣間隔而不影響精度。
[0068]如圖3所示，可選地，在上述步驟之后，本申請實施例提供的立體匹配方法還可以包括:步驟360，確定對應于最優的匹配代價的平移量的平移方向；以及步驟370，基于該平移量和平移方向更新當前深度候選值。在每個深度候選值處計算得出最優的匹配代價之后，可以根據最優匹配代價所對應的平移量和平移方向得出平移后的對應區域的圖像坐標參數，之后可以基于立體圖像對的幾何約束，根據該坐標參數和參考采樣區域的圖像坐標參數計算得到一個新的深度值，將當前處理的深度候選值更新為該新的深度值。這種更新使得針對每個像素將維持的優選深度候選值更將準確。
[0069]從上述描述可知，本申請提供的立體匹配方法，可以在每個像素處維持多個深度候選值，增強深度值計算方法的魯棒性。在一些實施例中，通過將圖像區域進行多次平移得到多個匹配代價，可以在保持精度的同時提升算法的速度。在一些進一步的實施例中，還可以根據最優匹配代價來更新深度值，進一步優化了深度值計算方法，提升了深度值的計算精度。
[0070]應當注意，上述實施例中以包括兩幀不同視角的圖像的立體圖像對為例描述了本申請提供的立體匹配方法，當圖像幀包括超過兩個視角的圖像時，可以針對每兩個相鄰視角的圖像分別執行上述方法流程，以實現所有立體圖像對的立體匹配。
[0071]應當注意，盡管在附圖中以特定順序描述了本發明方法的操作，但是，這并非要求或者暗示必須按照該特定順序來執行這些操作，或是必須執行全部所示的操作才能實現期望的結果。相反，流程圖中描繪的步驟可以改變執行順序。附加地或備選地，可以省略某些步驟，將多個步驟合并為一個步驟執行，和/或將一個步驟分解為多個步驟執行。
[0072]進一步參考圖6，其示出了根據本申請實施例提出的立體匹配裝置的一個實施例的結構示意圖。
[0073]如圖6所示，立體匹配裝置600包括:初始化單元610，配置用于確定立體圖像對的深度值范圍，其中立體圖像對包括兩幀不同視角的圖像；掃描單元620，配置用于對立體圖像對中的至少一幀圖像進行掃描，其中在掃描期間通過鄰域傳播方式，使得該至少一幀圖像中的每個像素維持位于深度值范圍內的至少兩個深度候選值；以及選取單元630，配置用于從該至少兩個深度候選值中選取一個深度候選值作為該像素的深度值。
[0074]在一些實現中，初始化單元610可以包括:深度值范圍設定單元611，配置用于設置深度值范圍的最大值、最小值以及采樣間隔；以及深度候選值選擇單元612，配置用于針對待掃描的至少一幀圖像的每個像素，按照采樣間隔從深度值范圍內隨機選擇M個值作為該像素的深度候選值。
[0075]在一些實施例中，掃描單元620進一步配置用于按照掃描次序，基于鄰域關系，為所掃描的每個像素確定使匹配代價最優的N個深度候選值；其中，M和N為大于I的正整數，并且M彡No
[0076]在一些實現中，掃描單元620可以包括:深度候選值合并單元621，配置用于將待處理像素的深度候選值與已掃描的鄰域像素的深度候選值合并為待處理像素的候選值集合；匹配代價計算單元622，配置用于針對深度候選值合并單元621獲得的候選值集合中的每個深度候選值，計算匹配代價；以及最優深度候選值確定單元623，配置用于根據匹配代價計算單元622的計算結果確定使匹配代價最優的N個深度候選值。
[0077]在進一步的實現中，匹配代價計算單元622可以配置用于通過平移方式，將包含待處理像素的參考采樣區域在包含對應像素的目標采樣區域內逐一匹配以計算多個匹配代價，將多個匹配代價中最優的匹配代價作為深度候選值的匹配代價。進一步地，匹配代價計算單元622可以包括:對應像素確定單元，配置用于根據深度候選值確定待處理像素在立體圖像對中的對應圖像上的對應像素；參考采樣區域確定單元，配置用于確定以待處理像素為中心的參考采樣區域；目標采樣區域確定單元，配置用于確定以對應像素為中心的目標采樣區域，其中目標采樣區域的大小對應于參考采樣區域以最大平移量在二維方向上平移得到的大小，最大平移量至少部分取決于所設置的采樣間隔；以及區域匹配單元，配置用于將參考采樣區域與目標采樣區域內對應每一個平移量和每個平移方向的每個區域分別進行匹配以計算相應的匹配代價。
[0078]在一些實現中，最優深度候選值確定單元623還可以配置用于基于所計算的每個深度候選值的最優匹配代價更新深度候選值，繼而在所更新的深度候選值中，根據匹配代價計算單元622的計算結果確定使匹配代價最優的N個深度候選值。其中更新深度候選值可以包括確定對應于最優的匹配代價的平移量和平移方向；以及基于該平移量和平移方向來更新相應的深度候選值。
[0079]在一些實施例中，選取單元630進一步配置用于利用全局約束在所維持的至少兩個深度候選值中選取一個最佳值作為像素的深度值。
[0080]應當理解，包含在立體匹配裝置600中的各單元和子單元被配置用于實踐本文公開的示例性實施例。因此，上面結合圖1至圖5描述的操作和特征也適用于立體匹配裝置600及其中的單元/子單元，在此省略其詳細描述。
[0081]描述于本申請實施例中所涉及到的單元可以通過軟件的方式實現，也可以通過硬件的方式來實現。所描述的模塊也可以設置在處理器中，例如，可以描述為:一種處理器包括初始化單元，掃描單元和選取單元。其中，這些模塊的名稱在某種情況下并不構成對該模塊本身的限定，例如，初始化單元還可以被描述為“用于確定立體圖像對的深度值范圍的單元”。
[0082]本申請實施例提供的立體匹配方法可以應用于多個方面，諸如三維建模。例如，通過立體匹配方法得到的深度圖或視差圖，可以用于恢復景物可視表面的完整信息。
[0083]除了立體匹配應用，本申請實施例提供的多猜想機制的區域匹配方法也可以擴展其他應用中，例如光流、超分辨率、圖像修復等。
[0084]作為另一方面，本申請還提供了一種計算機可讀存儲介質，該計算機可讀存儲介質可以是上述實施例中所述裝置中所包含的計算機可讀存儲介質；也可以是單獨存在，未裝配入終端中的計算機可讀存儲介質。所述計算機可讀存儲介質存儲有一個或者一個以上程序，所述程序被一個或者一個以上的處理器用來執行描述于本申請的立體匹配方法。
[0085]以上描述僅為本申請的較佳實施例以及對所運用技術原理的說明。本領域技術人員應當理解，本申請中所涉及的發明范圍，并不限于上述技術特征的特定組合而成的技術方案，同時也應涵蓋在不脫離所述發明構思的情況下，由上述技術特征或其等同特征進行任意組合而形成的其它技術方案。例如上述特征與本申請中公開的(但不限于)具有類似功能的技術特征進行互相替換而形成的技術方案。
【主權項】
1.一種立體匹配方法，其特征在于，所述方法包括: 確定立體圖像對的深度值范圍，其中所述立體圖像對包括兩幀不同視角的圖像； 對所述立體圖像對中的至少一幀圖像進行掃描，其中在掃描期間通過鄰域傳播方式，使得所述至少一幀圖像中的每個像素維持位于所述深度值范圍內的至少兩個深度候選值；以及 從所述至少兩個深度候選值中選取一個深度候選值作為所述像素的深度值。2.根據權利要求1所述的方法，其特征在于， 所述確定深度值范圍包括: 設置深度值范圍的最大值、最小值以及采樣間隔；以及 針對所述至少一幀圖像中的每個像素，按照所述采樣間隔從所述深度值范圍內隨機選擇M個值作為所述像素的深度候選值；并且所述掃描包括: 按照掃描次序，基于鄰域關系，為每個像素確定使匹配代價最優的N個深度候選值； 其中，M和N為大于I的正整數，并且M彡N。3.根據權利要求2所述的方法，其中，為每個像素確定使匹配代價最優的N個深度候選值包括: 將待處理像素的深度候選值與已掃描的鄰域像素的深度候選值合并為所述待處理像素的候選值集合； 針對所述候選值集合中的每個深度候選值，計算匹配代價；以及 根據所述匹配代價確定使匹配代價最優的N個深度候選值。4.根據權利要求3所述的方法，其中，針對每個深度候選值計算匹配代價包括: 通過平移方式，將包含所述待處理像素的參考采樣區域在包含對應像素的目標采樣區域內逐一匹配以計算多個匹配代價，其中所述目標采樣區域大于所述參考采樣區域；以及 將所述多個匹配代價中最優的匹配代價作為所述深度候選值的匹配代價。5.根據權利要求4所述的方法，其中，所述計算多個匹配代價包括: 根據所述深度候選值確定待處理像素在所述立體圖像對中的對應圖像上的對應像素； 確定以所述待處理像素為中心的參考采樣區域； 確定以所述對應像素為中心的目標采樣區域，其中所述目標采樣區域的大小對應于所述參考采樣區域以最大平移量在二維方向上平移得到的大小，所述最大平移量至少部分取決于所述采樣間隔；以及 將所述參考采樣區域與所述目標采樣區域內對應于每一個平移量和每個平移方向的每個區域分別進行匹配以計算相應的匹配代價。6.根據權利要求5所述的方法，所述方法還包括: 確定對應于所述最優的匹配代價的平移量和平移方向；以及 基于所述平移量和平移方向更新所述深度候選值。7.根據權利要求2所述的方法，其中，所述方法還包括:對所述至少一幀圖像執行多次所述掃描，其中每次掃描次序不同于前次掃描次序。8.根據權利要求7所述的方法，其中，奇數次掃描采用第一掃描次序，偶數次掃描采用與所述第一掃描次序相反的第二掃描次序，其中第一掃描次序選自以下任一:從左到右逐行掃描的次序；從右到左逐行掃描的次序；從上到下逐列掃描的次序；以及從下到上逐列掃描的次序。9.根據權利要求2所述的方法，其中，所述M為5，N為3。10.根據權利要求1所述的方法，其中，從所述至少兩個深度候選值中選取一個深度候選值包括: 利用全局約束在所述至少兩個深度候選值中選取一個最佳值作為所述像素的深度值。11.一種立體匹配裝置，其特征在于，所述裝置包括: 初始化單元，配置用于確定立體圖像對的深度值范圍，其中所述立體圖像對包括兩幀不同視角的圖像； 掃描單元，配置用于對所述立體圖像對中的至少一幀圖像進行掃描，其中在掃描期間通過鄰域傳播方式，使得所述至少一幀圖像中的每個像素維持位于所述深度值范圍內的至少兩個深度候選值；以及 選取單元，配置用于從所述至少兩個深度候選值中選取一個深度候選值作為所述像素的深度值。12.根據權利要求11所述的裝置，其特征在于， 所述初始化單元包括: 深度值范圍設定單元，配置用于設置深度值范圍的最大值、最小值以及采樣間隔；以及深度候選值選擇單元，配置用于針對所述至少一幀圖像的每個像素，按照所述采樣間隔從所述深度值范圍內隨機選擇M個值作為所述像素的深度候選值；并且 所述掃描單元配置用于:按照掃描次序，基于鄰域關系，為每個像素確定使匹配代價最優的N個深度候選值，其中，M和N為大于I的正整數，并且M彡N。13.根據權利要求12所述的裝置，其中，所述掃描單元包括: 深度候選值合并單元，配置用于將待處理像素的深度候選值與已掃描的鄰域像素的深度候選值合并為所述待處理像素的候選值集合； 匹配代價計算單元，配置用于針對所述候選值集合中的每個深度候選值，計算匹配代價；以及 最優深度候選值確定單元，配置用于根據所述匹配代價確定使匹配代價最優的N個深度候選值。14.根據權利要求13所述的裝置，其中，所述匹配代價計算單元進一步配置用于: 通過平移方式，將包含所述待處理像素的參考采樣區域在包含對應像素的目標采樣區域內逐一匹配以計算多個匹配代價，其中所述目標采樣區域大于所述參考采樣區域；以及 將所述多個匹配代價中最優的匹配代價作為所述深度候選值的匹配代價。15.根據權利要求14所述的裝置，其中，所述匹配代價計算單元包括: 對應像素確定單元，配置用于根據所述深度候選值確定待處理像素在所述立體圖像對中的對應圖像上的對應像素； 參考采樣區域確定單元，配置用于確定以所述待處理像素為中心的參考采樣區域； 目標采樣區域確定單元，配置用于確定以所述對應像素為中心的目標采樣區域，其中所述目標采樣區域的大小對應于所述參考采樣區域以最大平移量在二維方向上平移得到的大小，所述最大平移量至少部分取決于所述采樣間隔；以及 區域匹配單元，配置用于將所述參考采樣區域與所述目標采樣區域內對應于每一個平移量和每個平移方向的每個區域分別進行匹配以計算相應的匹配代價。16.根據權利要求15所述的裝置，其中所述最優深度候選值確定單元還配置用于: 確定對應于所述最優的匹配代價的平移量和平移方向； 基于所述平移量和平移方向更新所述深度候選值；以及 從更新后的深度候選值中確定使匹配代價最優的N個深度候選值。17.根據權利要求12所述的裝置，其中，所述掃描單元還配置用于對所述至少一幀圖像執行多次掃描，其中每次掃描次序不同于前次掃描次序。18.根據權利要求17所述的裝置，其中，奇數次掃描采用第一掃描次序，偶數次掃描采用與所述第一掃描次序相反的第二掃描次序，其中第一掃描次序選自以下任一:從左到右逐行掃描的次序；從右到左逐行掃描的次序；從上到下逐列掃描的次序；以及從下到上逐列掃描的次序。19.根據權利要求12所述的裝置，其中，所述M為5，N為3。20.根據權利要求11所述的裝置，其中，所述選取單元進一步配置用于利用全局約束在所述至少兩個深度候選值中選取一個最佳值作為所述像素的深度值。
【文檔編號】G06T7/00GK105989590SQ201510066534
【公開日】2016年10月5日
【申請日】2015年2月9日
【發明人】張輝, 張永杰, 段菲, 王顥星, 葉萌, 李宣旼, 金亭培, 韓宰俊
【申請人】北京三星通信技術研究有限公司, 三星電子株式會社