專利名稱：基于圖像修復和矢量預測算子的幀內預測視頻編碼方法
技術領域：
本發明涉及視頻壓縮技術領域，特別是一種基于圖像修復和矢量預測算子的幀內預測視頻編碼方法。
背景技術：
在實際的視頻序列中，空間相關性是數據冗余的一個重要來源。在去除空間冗余方面，無論在理論上還是在實際應用中，幀內預測都是一個簡單、有效和可靠的方法。因此， 幀內預測一直都是視頻編碼技術研究中的一個熱點，對于降低視頻壓縮數據中的空間冗余
具有重要意義。H. 264相比于之前編碼標準的一個重要改進是引入了幀內預測模式，這使得它能利用視頻的空間相關性來進一步提高壓縮效率。當前待預測塊中的每個像素都可用17個最接近的先前已編碼像素的加權和來預測，即此像素所在塊的左上角的17個像素。利用幀內預測算法，在除去相鄰塊之間的空間冗余度方面，取得更為有效的壓縮效果。在H. 264 中，對于4x4、8x8、16x16大小的預測塊，分別有9、9、4種預測模式進行預測。作為H. 264/ AVC的下一代協議,高效率視頻編碼(High Efficiency Video Coding, HE VC)重點關注對高清/超高清視頻進行有效的壓縮和編碼。HEVC繼承了 H. 264的混合編碼模式，但在各個模塊中都采用更加先進的算法，以提高壓縮效率。在幀內預測方面，HEVC采用了更高效的四叉樹塊結構，這對應于H. 264中的宏塊及子塊的概念。此外，相較于先前的標準，HEVC大大增加了可用的預測模式，最高可達34種。由此可以看出，在傳統的幀內預測方法中，為了提高幀內預測的準確性，主要是通過增加幀內預測的模式數量和采用更加復雜的宏塊劃分方案，但是，這種方法增加了用于表示宏塊劃分結果和每個子塊預測模式的數據量，同時， 傳統的幀內預測采用固定的預測方向，無法自適應地處理實際圖像。解決上述問題的一個方法是采用基于圖像修復的幀內預測，同時，由于幀內預測可以被看作一個圖像修復問題，因此，基于圖像修復的幀內預測是當前的一個技術熱點。圖像修復(Image Inpainting)是指利用待修復區域的邊緣信息，采用傳播機制將信息傳播到待修補的區域內。紋理合成在修復含有大量細節的大區域方面效果很好，通常使用的是模板匹配的方法；基于求解偏微分方程的圖像修復更適合于平坦的小區域；T. K Tan等人提出了一種基于模板匹配的幀內預測方法以及一種基于優先級模板匹配的幀內預測方法; V. Bastani和D. Liu等人將基于求解偏微分方程的圖像修復方法分別應用于圖像和視頻壓縮；D. Doshkove等人將模板匹配和偏微分方程相結合的圖像修復方法應用于幀內預測當中，并取得很好的實驗結果。但是，上述基于圖像修復的幀內預測存在如下兩個問題1、常用的基于拉普拉斯偏微分方程圖像修復的幀內預測無法有效地處理圖像中的非平坦區域， 尤其是含有邊沿的情況；2、基于紋理合成圖像修復的幀內預測能夠有效地利用幀內預測的非局部相關性，然而，模板匹配需要進行大量的計算，增加了編解碼的運算復雜度，對實時應用會有影響。

發明內容
本發明的目的在于克服現有技術的不足，提供一種能夠有效提高預測準確性和視頻編碼的壓縮效率的基于圖像修復和矢量預測算子的幀內預測視頻編碼方法。本發明解決其技術問題是采取以下技術方案實現的—種基于圖像修復和矢量預測算子的幀內預測視頻編碼方法，包括以下步驟(I)計算當前塊基于HEVC中傳統幀內預測模式的率失真代價值RDl ；(2)計算當前塊基于拉普拉斯方程圖像修復方法的幀內預測模式的率失真代價值 RD2，若率失真代價值RD2小于RD1，則計算當前塊基于全變分模型圖像修復方法的幀內預測模式的率失真代價值RD2 ；(3)計算當前塊基于矢量預測算子的幀內預測模式的率失真代價值RD3 ；(4)編碼端根據率失真代價值RDl、RD2和RD3的比較結果，選取最小率失真代價值所對應的幀內預測模式，按所對應的幀內預測模式計算得到當前塊的預測像素值并對當前塊進行預測、壓縮和編碼。而且，所述的率失真代價值RDl、率失真代價值RD2、率失真代價值RD3均是由HEVC 自帶的率失真代價計算模塊計算得到。而且，所述基于全變分模型圖像修復的幀內預測模式計算當前塊的預測像素值是通過如下迭代公式迭代完成后得到
其中，h(n_D = I1(Uilri))，n-l表示上次迭代過程中的各個參數的相應值，η表示當前迭代過程中各個參數的相應值。而且，所述通過基于矢量預測算子的幀內預測模式計算當前塊的預測像素值的方法包括以下步驟(I)將當前塊劃分為相等子塊Pi, i = 1,2,3,4, i初始化為1，搜索區域S設置為當前塊相鄰左側與上方、2x當前塊大小且不包括當前塊的像素區域；(2)對當前子塊Pi和搜索區域S進行1/2下采樣，得到下采樣后的DPi和DS ；(3)計算DPi在DS中的最小SAD值，得到位置坐標(x，y)，若SAD值大于或等于閾值Thres，則認為當前塊不適用本模式，結束返回，否則繼續；(4)計算當前子塊Pi在S中(2x，2y)及其相鄰位置中的最小SAD值所在坐標，得到當前子塊Pi的預測值與匹配塊矢量Vi，并將Pi并入搜索區域S，i自加I，其中，相鄰位置的定義為(2x-l，2y)、(2x+l，2y)、(2x，2y_l)和(2x，2y+l)，在上述五個匹配塊中尋找SAD 值最小的塊作為最優匹配塊，如果(2x，2y)靠近搜索區域的邊沿，則只選取可用的匹配塊進行比較；(5)若i小于或等于4，則執行步驟(2)，否則處理結束并得到當前塊的預測像素值和矢量數據。而且，所述的計算SAD值采用如下公式
式中，N是子塊中像素的數量，i代表像素位置，Sta_是搜索區域中的像素塊，Stemplate是選定的模板像素塊。本發明的優點和積極效果是本發明設計合理，針對HEVC中的幀內預測視頻編碼方法，引入了基于拉普拉斯方程和全變分模型相結合的增強型圖像修復的幀內預測模式以及基于矢量預測算子的幀內預測模式，通過比較率失真代價而選取最優的模式進行預測和編碼，通過幀內圖像的非局部相關性來提高HEVC視頻編解碼器的總體率失真性能，該方法不僅可以解決傳統幀內預測中預測模式固定、無法自適應視頻內容的問題，提高了已有的基于圖像修復的幀內預測模式的預測準確性，而且能夠在編解碼后視頻質量基本不變的情況下，降低編碼碼率，從而提高視頻編碼的壓縮效率。


圖I為基于圖像修復算法的幀內預測示意圖；圖2為全變分模型數值化求解中相關像素位置定義；圖3為基于矢量預測算子的幀內預測中宏塊劃分與搜索區域示意圖。
具體實施例方式以下結合附圖對本發明實施例做進一步詳述一種基于圖像修復和矢量預測算子的幀內預測視頻編碼方法，如圖I所示，采用基于拉普拉斯方程和全變分模型相結合的增強型圖像修復的幀內預測模式以及基于矢量預測算子的幀內預測模式，通過比較率失真代價而選取選取具有最小率失真代價的模式對當前宏塊進行預測和壓縮，具體包括以下步驟步驟I :計算當前塊基于HEVC中傳統幀內預測模式的率失真代價值RDl。HEVC中幀內預測模式的選擇是根據率失真代價的計算而實現，即選擇具有最小率失真代價的模式作為當前宏塊的預測模式，因此，HEVC自帶了率失真代價計算模塊。HEVC 中的幀內預測模式與本發明所提出的基于拉普拉斯方程圖像修復方法的幀內預測模式以及基于矢量預測算子的幀內預測模式的率失真代價都是通過該模塊來計算，本發明的實現不需要關心該數值的具體值，僅為了表述的方便而將其記為RD1，下同。步驟2 :計算當前塊基于拉普拉斯方程圖像修復方法的幀內預測模式的率失真代價值RD2，若率失真代價值RD2小于RD1，則計算當前塊基于全變分模型圖像修復方法的幀內預測模式的率失真代價值RD2。本步驟是將基于拉普拉斯方程和全變分模型相結合形成的增強型圖像修復的幀內預測模式，以提高幀內預測的準確性和幀內預測的壓縮效率，解決傳統幀內預測中預測模式固定、無法自適應視頻內容的問題。步驟3 :計算當前塊基于矢量預測算子的幀內預測模式的率失真代價值RD3。步驟4 :編碼端根據率失真代價值RD1、RD2和RD3的比較結果，選取最小率失真代價值所對應的幀內預測模式，按所對應的幀內預測模式計算得到當前塊的預測像素值并對當前塊進行預測、壓縮和編碼。在本步驟中，根據率失真代價值RDl、RD2和RD3的比較結果選取相應的幀內預測模式，即如果RDl最小，則選取HEVC中傳統的幀內預測模式計算當前塊的預測像素值，如
6果RD2最小，則選取基于全變分模型圖像修復的幀內預測模式計算當前塊的預測像素值， 如果RD3最小，則選取基于矢量預測算子的幀內預測模式計算當前塊的預測像素值。下面分別說明三種幀內預測模式計算當前塊的預測像素值的方法I、通過HEVC中傳統的幀內預測模式計算當前塊的預測像素值的方法通過HEVC中傳統的幀內預測模式計算當前塊的預測像素值，該方法是屬于HEVC 自身具有的功能，在此不進行具體說明。2、通過基于全變分模型圖像修復的幀內預測模式計算當前塊的預測像素值的方法為基于拉普拉斯方程的幀內預測模式計算當前塊的預測像素值的方法為在二維離散情況下，拉普拉斯算子的數值形式可以表示為
權利要求
1.一種基于圖像修復和矢量預測算子的幀內預測視頻編碼方法，其特征在于包括以下步驟(1)計算當前塊基于HEVC中傳統幀內預測模式的率失真代價值RDl；(2)計算當前塊基于拉普拉斯方程圖像修復方法的幀內預測模式的率失真代價值 RD2，若率失真代價值RD2小于RD1，則計算當前塊基于全變分模型圖像修復方法的幀內預測模式的率失真代價值RD2 ；(3)計算當前塊基于矢量預測算子的幀內預測模式的率失真代價值RD3；(4)編碼端根據率失真代價值RD1、RD2和RD3的比較結果，選取最小率失真代價值所對應的幀內預測模式，按所對應的幀內預測模式計算得到當前塊的預測像素值并對當前塊進行預測、壓縮和編碼。
2.根據權利要求I所述的基于圖像修復和矢量預測算子的幀內預測視頻編碼方法，其特征在于所述的率失真代價值RD1、率失真代價值RD2、率失真代價值RD3均是由HEVC自帶的率失真代價計算模塊計算得到。
3.根據權利要求I所述的基于圖像修復和矢量預測算子的幀內預測視頻編碼方法，其特征在于所述基于全變分模型圖像修復的幀內預測模式計算當前塊的預測像素值是通過如下迭代公式迭代完成后得到
4.根據權利要求I所述的基于圖像修復和矢量預測算子的幀內預測視頻編碼方法，其特征在于所述通過基于矢量預測算子的幀內預測模式計算當前塊的預測像素值的方法包括以下步驟(1)將當前塊劃分為相等子塊Pi,i = 1,2,3,4, i初始化為1，搜索區域S設置為當前塊相鄰左側與上方、2x當前塊大小且不包括當前塊的像素區域；(2)對當前子塊Pi和搜索區域S進行1/2下采樣，得到下采樣后的DPi和DS；(3)計算DPi在DS中的最小SAD值，得到位置坐標(X，y)，若SAD值大于或等于閾值 Thres，則認為當前塊不適用本模式，結束返回，否則繼續；(4)計算當前子塊？1在3中(2x，2y)及其相鄰位置中的最小SAD值所在坐標，得到當前子塊預測值與匹配塊矢量Vi，并將Pi并入搜索區域S，i自加1，其中，相鄰位置的定義為(2x-l，2y)、(2x+l，2y)、(2x，2y_l)和(2x，2y+l)，在上述五個匹配塊中尋找SAD值最小的塊作為最優匹配塊，如果(2x，2y)靠近搜索區域的邊沿，則只選取可用的匹配塊進行比較；(5)若i小于或等于4，則執行步驟(2)，否則處理結束并得到當前塊的預測像素值和矢量數據。
5.根據權利要求4所述的基于圖像修復和矢量預測算子的幀內預測視頻編碼方法，其特征在于所述的計算SAD值采用如下公式
全文摘要
本發明涉及一種基于圖像修復和矢量預測算子的幀內預測視頻編碼方法，其技術特點是(1)計算當前塊基于HEVC中傳統幀內預測模式的率失真代價值RD1；(2)計算當前塊基于拉普拉斯方程圖像修復方法的幀內預測模式的率失真代價值RD2，若RD2小于RD1，則計算當前塊基于全變分模型圖像修復方法的幀內預測模式的率失真代價值RD2；(3)計算當前塊基于矢量預測算子的幀內預測模式的率失真代價值RD3；(4)編碼端根據RD1、RD2和RD3的比較結果，計算得到當前塊的預測像素值并對當前塊進行預測、壓縮和編碼。本發明設計合理，提高了已有的基于圖像修復的幀內預測模式的預測準確性，能夠在編解碼后視頻質量基本不變的情況下，降低編碼碼率，從而提高視頻編碼的壓縮效率。
文檔編號H04N7/32GK102595140SQ201210060588
公開日2012年7月18日 申請日期2012年3月9日 優先權日2012年3月9日
發明者葉鋒, 姜竹青, 張鑫明, 戚興利, 楊波, 林立翔, 肖賀, 邸金紅, 門愛東, 韓睿 申請人:北京郵電大學