基于置信傳播和自相似差異測度的前后景立體匹配方法
【專利摘要】本發明提供一種基于置信傳播和自相似差異測度的前后景立體匹配方法，包括：首先，分別采用置信傳播算法和自相似差異測度算法對圖像進行立體匹配，獲得各自的視差圖；然后，利用分段函數融合置信傳播算法和自相似差異測度算法，匹配出視差圖中的前景信息和背景信息。本發明提供的基于置信傳播和自相似差異測度的前后景立體匹配方法，具有很好的立體匹配精度。
【專利說明】
基于置信傳播和自相似差異測度的前后景立體匹配方法
技術領域
[0001 ]本發明涉及計算機視覺技術領域，更為具體地，涉及一種基于置信傳播和自相似 差異測度的前后景立體匹配方法。
【背景技術】
[0002] 立體匹配是目前最熱點的計算機視覺方向之一。其目標是在不同的視點視角及不 同的時間地點，在一幅或幾幅圖片中找出對應點，進而獲得一個稠密的深度或視差映射圖。
[0003] 目前常見的立體匹配方法包括局部方法和全局方法。全局方法主要包括圖割(GC) 和置信傳播(BP)方法。全局方法精度較高，但速度相對較慢，難以滿足實時、準確、快速的應 用，尤其在三維重建、立體視頻、機器人導航等對實時性較高的領域無法滿足。局部算法雖 然速度快，但精度較差。

【發明內容】

[0004] 鑒于上述問題，本發明的目的是提供一種基于置信傳播和自相似差異測度的前后 景立體匹配方法，以解決現有引導濾波的立體匹配方法在大面積的低紋理區域和不連續區 域邊界存在缺陷的問題。
[0005] 本發明提供一種基于置信傳播和自相似差異測度的前后景立體匹配方法，包括：
[0006] 步驟S1:分別采用置信傳播算法和自相似差異測度算法對圖像進行立體匹配，獲 得各自的視差圖；
[0007] 步驟S2 :利用分段函數融合置信傳播算法和自相似差異測度算法，匹配出視差圖 中的前景信息和背景信息。
[0008] 本發明提供的基于置信傳播和自相似差異測度的前后景立體匹配方法，通過分段 函數融合置信傳播算法和自相似差異測度算法，具有很好的立體匹配的精度。
[0009] 為了實現上述以及相關目的，本發明的一個或多個方面包括后面將詳細說明并在 權利要求中特別指出的特征。下面的說明以及附圖詳細說明了本發明的某些示例性方面。 然而，這些方面指示的僅僅是可使用本發明的原理的各種方式中的一些方式。此外，本發明 旨在包括所有這些方面以及它們的等同物。
【附圖說明】
[0010] 通過參考以下結合附圖的說明及權利要求書的內容，并且隨著對本發明的更全面 理解，本發明的其它目的及結果將更加明白及易于理解。在附圖中：
[0011] 圖1為根據本發明實施例的基于置信傳播和自相似差異測度的前后景立體匹配方 法的流程示意圖。
[0012] 在所有附圖中相同的標號指示相似或相應的特征或功能。
【具體實施方式】
[0013]在下面的描述中，出于說明的目的，為了提供對一個或多個實施例的全面理解，闡 述了許多具體細節。然而，很明顯，也可以在沒有這些具體細節的情況下實現這些實施例。 在其它例子中，為了便于描述一個或多個實施例，公知的結構和設備以方框圖的形式示出。 [0014]因為詳細的細節信息，自相似差異測度在視差圖中的前景信息上有較好的優勢， 由于置信傳播推理，而置信傳播算法擁有更好的背景映射。因此，本發明提出了基于分段思 想，通過結合置信傳播算法和自相似差異測度算法，能夠提高視差圖的效果，從而提高立體 匹配精度，尤其是在不連續區域。
[0015] 以下將結合附圖對本發明的具體實施例進行詳細描述。
[0016] 圖1示出了根據本發明實施例的基于置信傳播和自相似差異測度的前后景立體匹 配方法的流程。
[0017]如圖1所示，本發明提供的基于置信傳播和自相似差異測度的前后景立體匹配方 法，包括：
[0018] 步驟S1:分別采用置信傳播算法和自相似差異測度算法對圖像進行立體匹配，獲 得各自的視差圖。
[0019] 采用置信傳播算法對圖像進行立體匹配的過程，包括：
[0020] 立體匹配可以歸納成能量函數最小化過程。在立體匹配中，可以通過馬爾科夫隨 機場建立視差圖模型來解決，并利用最大后驗概率獲得最優視差值，然后構建能量函數。 [0021 ]步驟S11:構建基于馬爾科夫隨機場的聯合概率函數。
[0022] 參考圖像與模板圖像是否匹配，可以通過兩個像素的灰度或顏色差來決定。定義 數據約束項Φ(Χρ，Υρ)來表示灰度匹配的可信程度，定義平滑約束項Ψ( Χι，^)表示平滑匹 配可信程度。通過平滑項和數據項的構建，可以得到MRF基于馬爾科夫隨機場的聯合概率函 數為：
[0023] ^(^1 ? ^2 5''' 1 y\ > }l2. '" > ^JV： ) = ]~[ ^ (Λ / ' Λ / ) Φ\Λ ；； ? y ρ ) ( 1 ) (V) ρ
[0024] 其中：Ν代表節點數目，（i，j)表示一對相鄰節點，Χη代表位于節點η的視差值，^代 表位于節點η的像素值；
[0025] 步驟S12:對式(1)取負對數，獲得基于置信傳播算法的能量函數Ε( ·):
[0026] Ei x''·- - - n ' ·νι' ·ν^- - ·-V n ) = X ?7(Λ', - -V,) + V 〇(Χι, ), (?, / ) t
[0027] 其中，D( ·)和V( ·)代表能量函數的數據項和平滑項；
[0028] 步驟S13:通過節點的鄰域信息更新消息。
[0029] 置信傳播算法是通過在圖像四鄰域或八鄰域網格上通過迭代的方式傳遞消息來 完成，消息更新通過節點的鄰域信息，公式如下：
[0030] mn,iu (·ν;) ^ Hiax Ψ(Λ：,.Λ：; )Φ(χ,, ,.ν,,) χ mlvh! (.^ )m"/; (.ty (.t;)
[0031]其中，mright(xj) ,mup(xj) ,md?n(xj)是代表從節點i上、下、右傳來的消息；
[0032]步驟S14:更新每個節點的置信度：
[0034]其中，Κ代表歸一化常量，mks (Xs)表示節點k向節點S傳播的信息，ms (Xs)表示節點s 的信息，xs表示位于節點s的視差值，xk表示位于節點k的視差值；
[0035] 步驟S15:將s節點的最大置信度作為s節點的最優視差，s節點的最大置信度為：
[0036] d?a' = arg max ci(x)
[0037] 步驟SI 6:通過s節點的最優視差獲得視差圖的視差值：
[0038] dBP = arg min E(xs，ys) 〇
[0039] 其中，σ表示節點s的可能視差集。
[0040] 采用自相似差異測度算法對圖像進行立體匹配的過程，包括：
[0041] 僅依靠全局算法不足以獲得精確的視差值，因為由于全局信息傳遞，使像素視差 值易受臨近像素值影響，若是傳遞信息準確，獲得精確的視差值;若存在噪音或相鄰像素值 不準確會造成視差值偏差。
[0042] 自相似差異測度算法在一定程度上能避免上述問題，自相似差異測度算法是一個 局部算法，結合了絕對灰度差異算法(absolute intensity differences(SAD))和絕對梯 度差異算法（absolute gradient-based differences measure(SAGD))。傳統的測度僅僅 考慮左右圖像像素之間的測度關系，沒有考慮到梯度測度關系，自相似加權融合了絕對灰 度差和基于梯度的測度算法，使算法魯棒性更強、準確性更高。利用自相似差異測度，其可 有效結合圖像信息和梯度信息。
[0043]設像素位置(x，y) e Ω，d為視差值，N(x，y)為一個5X5的窗口，II和Ir分別表不參 考圖像和目標圖像，則：
[0044]絕對灰度差異測度CSAD( ·)的公式為：
[0045]
[0046] 絕對梯度差異測度CCRAD( ·)的公式為：
[0047] = Σ iV A ^ if + ^J)\ + Σ lV i -V + ?χ,ν) （\,v)
[0048] 其中，Nx(x，y)表示沒有最右側的鄰域，NY(x，y)表示沒有最低側的鄰域，Vx表示X 方向的中心差分，Vy代表Y方向的中心差分，Vy代表Y方向的中心差分，像素位置(X，y) e Ω，d為視差值，N(x，y)為一個5X5的窗口，Ιι和Ir分別表不參考圖像和目標圖像；
[0049] 自相似差異測度算法被定義為：
[0050] C(s,ds) = wxCSAD (s, ds) + Gr2CGJL4D (s, ds)
[0051 ] 其中，?'i和?'i分別被定義為Csad( ·)和Cgrad( ·)的權重函數。
[0052] 之后，采用左右圖像的交叉驗證和勝者優先算法(WTA算法，為現有技術，故在此不 再贅述），獲得視差圖的視差值為：
[0053] dsD =^m\x\C{s,ds) 0 ds εσ
[0054] 步驟S2:利用分段函數融合置信傳播算法和自相似差異測度算法，匹配出視差圖 中的前景信息和背景信息。
[0055] 通過大量實驗，可以發現置信傳播算法因為采用信息傳播，在視差圖背景信息方 面有很大的優勢，特別在低紋理和遮擋區域。同時自相似差異測度算法因為采用絕對灰度 差和基于梯度的測度算法，可以有效描述細節信息，有很好的前景信息。因而本發明提出一 種結合置信傳播算法和自相似差異測度算法的分段立體匹配算法。具體地，在背景信息中 采用置信傳播算法，在前景信息中，采用自相似差異測度算法，在中間區域結合二者的優勢 的思路，具體公式如下：
[0056] 設置置信傳播算法的視差值為dBP，自相似差異測度算法的視差值為dSD，cf是通過 融合置信傳播算法和自相似差異測度算法最終獲得的視差值，其屬于一個有限的視差集帶 L離散視差的Γ= [cU，^，···，^]，ε為一個誤差閾值.具體地，為了避免可能的誤差，設置cf 作為較高的權重，接近cf區域設置較低的權重.分段函數cf( ·)定義如下： dBP, if xp e (〇,[?/2-^]),
[0057] d\xp) = < mm{dBP,dSD), if xp e i\_L(2 - s\,\L/2 + ￡·]),
[ Uf χΓ ^{\L/2 + ^Ll
[0058] 其中，xP表示位于節點p的視差值，min(dBP,dsD)表示取最小值，[_·」和「·1分別代表上 舍入和下舍入算子，在本發明中，誤差閾值(6 =
[0059] 在本發明中，如果視差值小于L/2，認為該視差值是視差圖中的背景信息，如果視 差值大于L/2，認為該視差值是視差圖中的前景信息。
[0060] 以上所述，僅為本發明的【具體實施方式】，但本發明的保護范圍并不局限于此，任何 熟悉本技術領域的技術人員在本發明揭露的技術范圍內，可輕易想到變化或替換，都應涵 蓋在本發明的保護范圍之內。因此，本發明的保護范圍應所述以權利要求的保護范圍為準。
【主權項】
1. 一種基于置信傳播和自相似差異測度的前后景立體匹配方法，包括： 步驟S1:分別采用置信傳播算法和自相似差異測度算法對圖像進行立體匹配，獲得各 自的視差圖； 步驟S2:利用分段函數融合所述置信傳播算法和所述自相似差異測度算法，匹配出所 述視差圖中的前景信息和背景信息。2. 如權利要求1所述的基于置信傳播和自相似差異測度的前后景立體匹配方法，其中， 在利用所述置信傳播算法對圖像進行立體匹配的過程中，包括： 步驟S11:構建基于馬爾科夫隨機場的聯合概率函數，所述聯合概率函數為： P(xi,x2,-",xN,yi,y2---,yN) = nw(xi,xj)n Φ (χρ,γρ) 其中，數據約束項Φ(χρ，7ρ)表示灰度匹配的可信程度，平滑約束項W(xi，yj)表示平滑 匹配可信程度，N表示節點數目；（i，j)表示一對相鄰節點，Xn表示位于節點η的視差值。yn表 示位于節點η的像素值； 步驟S12:對所述聯合概率函數取負對數，獲得基于置信傳播算法的能量函數Ε( ·)，所 述能量函數Ε( ·)為： Ε(χι,Χ2, ... ,XN,yi,y2... ,ΥΝ)= Σ V(xi,xj)+ZD(xi,yi) 其中，D( ·)和V( ·)分別表示所述能量函數E( ·)的數據項和平滑項； 步驟S13:通過節點的鄰域信息更新消息，公式如下：其中，niright ( Xj ) , niup ( Xj ) , mdown ( Xj )表不從T·點i上、下、右傳來的f曰息； 步驟S14:更新每個節點的置信度：其中，K表示歸一化常量，mks(Xs)表示節點k向節點S傳播的信息，ms(xs)表示節點S的信 息，Xs表示位于節點S的視差值，Xk表示位于節點k的視差值； 步驟S15:將S節點的最大置信度作為S節點的最優視差，S節點的最大置信度為：步驟S16:通過S節點的最優視差獲得視差圖的視差值：其中，0表示節點S的可能視差集。3. 如權利要求1所述的基于置信傳播和自相似差異測度的前后景立體匹配方法，其中， 步驟S2包括： 步驟S21:自定義所述自相似差異測度算法為：其中，巧和田汾別被定義為CsAD( ·)和Cgrad( ·)的權重系數； 絕對灰度差異測度CsAD( ·)被定義為：絕對梯度差異測度CeRAD( ·)被定義為：其中，化(X，y)表示沒有最右側的鄰域，NY(x，y)表示沒有最低側的鄰域，Vj表示X方向 的中屯、差分，Vy代表Y方向的中屯、差分，像素位置(x，y) e Ω，d為視差值，N(x，y)為一個5X5 的窗口，II和Ir分別表示參考圖像和目標圖像； 步驟S22:采用左右圖像的交叉驗證和勝者優先算法獲得視差圖的視差值為：4. 如權利要求1所述的基于置信傳播和自相似差異測度的前后景立體匹配方法，其中， 所述分段函數cT( ·)定義為：其中，xp表示位于節點P的視差值，min(dBP，dsD)表示取最小值，cT為通過融合所述置信 傳播算法和所述自相似差異測度算法獲得的視差值，其屬于一個有限的視差集帶L離散視 差的Γ=[dl，d2，...，dL]，ε為誤差闊值，L」和Π 分別代表上舍入和下舍入算子。5. 如權利要求4所述的基于置信傳播和自相似差異測度的前后景立體匹配方法，其中， 公=「頌0!。
【文檔編號】G06T7/00GK106097336SQ201610405793
【公開日】2016年11月9日
【申請日】2016年6月7日
【發明人】王曉峰, 蘇盈盈, 李明臻, 趙軼
【申請人】重慶科技學院