基于緊框架特征字典的圖像修復方法
【專利摘要】本發(fā)明提出了一種基于緊框架特征字典的圖像修復方法，利用離散余弦變換DCT?Ⅱ型正交矩陣，構造出具有冗余性的離散余弦變換DCT框架系統(tǒng)，并成功應用于圖像修復領域，有效的修復圖像的文理結構信息。圖像在DCT小框架基的分解下，得到的框架系數(shù)代表圖像不同方向或不同階的邊緣特征信息，同時利用框架系數(shù)稀疏的先驗知識，建立基于加權l(xiāng)1范數(shù)的DCT框架系數(shù)優(yōu)化模型，提出基于逼近算子的迭代算法獲取模型的解。在概率模型的假設下，利用拉普拉斯概率分布先驗模型近似幾何框架系數(shù)的實際概率分布，同時假設模型噪聲的高斯分布條件下，利用MAP技術建立自適應稀疏軟閾值算子，對圖像進行幾何框架系數(shù)稀疏表示，既能夠保護邊緣特征又能濾除噪聲。
【專利說明】
基于緊框架特征字典的圖像修復方法
技術領域
[0001] 本發(fā)明屬于圖像處理技術領域，具體涉及一種基于緊框架特征字典的圖像修復方 法。
【背景技術】
[0002] 隨著計算機處理能力的提高，利用計算機輔助人類完成任務越來越具備智能化處 理能力。在日常生活中，信息化程度越來越高，數(shù)字信息技術在社會各個領域都得到廣泛的 應用，特別是各種移動電子設備和無線網絡普及度的不斷提高，隨之而來的是各種紛繁復 雜的數(shù)據(jù)以及如何對這些數(shù)據(jù)分析和處理，例如對攝像設備獲取得到的圖像數(shù)據(jù)進行加工 處理，修改畫面的某些場景。圖像修復（Image Inpainting)問題就是研究圖像智能化算法， 自動修復圖像中部分缺失或破損區(qū)域信息，并且修復的效果需要合理符合圖像的局部結 構。圖像修復算法能夠讓計算機具有藝術家的創(chuàng)作才華，填補完成符合人的視覺要求的圖 像缺失信息，是數(shù)字圖像處理領域近年來熱門的研究方向之一。
[0003] 計算機智能化水平越來越高，如智能手機，人與計算機之間的交互更具智能化和 人性化，利用圖像修復技術能夠自動填補視頻中某些場景或區(qū)域。在人們生活中城市智能 化越來越普及，監(jiān)控攝像頭廣泛應用于獲取城市狀況信息，但是由于監(jiān)控環(huán)境和硬件條件 的限制，獲取的視頻信息部分受到遮擋或模糊，需要利用修復技術還原缺失部分并填充放 大圖像，重現(xiàn)出真實畫面的圖像信息。如何從被噪聲或奇異點污染或部分缺失的觀測數(shù)據(jù) 中恢復出原始數(shù)據(jù)結構信息，已成為圖像與計算機視覺、機器學習、數(shù)據(jù)挖掘等眾多研究領 域所面臨的一個核心的研究課題。
[0004] 圖像修復問題的難點就是要讓填補的信息滿足人的視覺效果同時符合實際的物 理結構。解決圖像修復問題大致可分成兩大類方法：基于PDE (Partial Differential Equations)方法和基于樣本特征(Patch-based)方法。由于在數(shù)據(jù)缺失的區(qū)域并不存在任 何有用信息，需要人為地對其進行先驗假設，基于PDE或樣本基圖像修復方法，都需要假設 已知數(shù)據(jù)和填補的數(shù)據(jù)應該具有同樣的統(tǒng)計特性或幾何結構信息。在先驗的信息的假設 下，建立具有先驗的信息約束模型，能夠將病態(tài)的圖像修復逆問題轉換成適定問題，將局部 或全局的圖像先驗結構特征逐步地擴充到數(shù)據(jù)缺失區(qū)域中。基于樣本基算法是利用非局 部的圖像特征數(shù)據(jù)，逐片填充缺失區(qū)域的信息，對大區(qū)域缺失數(shù)據(jù)的修復可以得到比較好 的視覺效果。將缺失區(qū)域的邊界分成很多圖像塊(Patch)，圖像塊被賦予不同的優(yōu)先等級， 優(yōu)先級高的圖像塊需要優(yōu)先填補，才能有效修復出圖像的邊緣結構信息。
[0005] 基于信號表示的稀疏性和冗余性而提出的稀疏表示(Sparse Representation)方 法是一種有效描述信號的方法，能夠簡單有效地在數(shù)學上描述或分析數(shù)據(jù)，并成功應用于 圖像處理領域。在冗余緊框架下，利用冗余緊框架系統(tǒng)對圖像進行分解，然后對系數(shù)進行伸 縮處理，能夠比正交基更好地保護圖像邊緣細節(jié);對于圖像修復問題，假設已知和未知的圖 像數(shù)據(jù)具有相同的稀疏表示特性，建立關于系數(shù)冗余基系數(shù)稀疏的優(yōu)化模型，提出迭代算 法并利用硬閾值算子或軟閾值算子對冗余基系數(shù)進行收縮稀疏表示，逐步恢復圖像原有結 構信息。基于冗余基稀疏表示圖像修復算法，如曲波變換系統(tǒng)(Curve I e t Transf orm)，緊框 架系統(tǒng)(Tight Frame)能有效修復小區(qū)域數(shù)據(jù)缺失信息。然而，與基于PED算法相似，基于冗 余基的稀疏表示算法對大的數(shù)據(jù)缺失區(qū)域并不能得到較好的結果。
[0006]利用非局部(Nonlocal)圖像特征，通過訓練學習能夠對圖像塊信息進行稀疏表示 的特征字典，能夠有效重建出圖像結構。利用I2范數(shù)度量對圖像塊進行聚類，然后利用奇異 值分解算法對每一組相似的圖像塊特征進行訓練得到對應的特征字典。對于特征字典的訓 練學習，K-SVD算法能夠比較有效地解決訓練學習字典的非凸優(yōu)化模型問題。特征字典能夠 有效得表示圖像塊特征，但是字典中包含的原子特征的個數(shù)即字典的維數(shù)需要根據(jù)實際的 特征進行自適應選擇。可以利用最小描述長度MDL(Minimum Description Length)原則確 定字典維數(shù)，并用窮舉法求解確定字典維數(shù)。但是樣本的維數(shù)太大時，MDL算法的效率不高。 對于字典訓練學習很大依賴于圖像塊樣本的選擇，如何更好地對將度量圖像塊特征并對特 征進行歸類，獲取更有代表性特征字典需要進一步研究。
[0007]如圖1(a)所示，黑色區(qū)域是數(shù)據(jù)缺失范圍；圖1(b)是非專利文獻1(Z.Xu and J·Sun，"Image inpainting by patch propagation using patch sparsity"，IEEE Transactions on Image Processing, vol. 19,no.5,pp. 1153-1165,2010)中的算法修復 得到的結果，圖像的文理結構并沒有很好得正確填補出來；圖1(c)是著名圖像處理軟件 Adobe Photoshop CC 2014的內容識別填充(Content-Aware Fill)技術修復得到的結果， 能夠填補一定的圖像的文理結構信息，但是其結果并不十分滿足人的視覺要求。因此，根據(jù) 先驗假設填充滿足人的視覺習慣的圖像結構信息，保持圖像全局與局部一致性相結合的高 質量圖像是十分關鍵的。
[0008] 非專利文獻2 (Y · R · Li，L · Shen，and B · W · Suter，"Adapt i ve inpaint ing algorithm based on DCT induced wavelet regularization"，IEEE Transactions on Image Processing, vol · 22，no· 2，pp· 752-763，2013)構造出DCT緊框架系統(tǒng)成功應用于圖 像修復問題。在DCT緊框架理論的框架下，研究能夠更好地表征目標的樣本特征字典和模 型，解決圖像修復技術關鍵問題，修復出符合人的視覺效果和自然的物理結構信息，是有意 義和實際應用前景的。

【發(fā)明內容】

[0009] 為解決現(xiàn)有技術中存在的問題，本發(fā)明提出了一種基于緊框架特征字典的圖像修 復方法，本發(fā)明具體通過如下技術方案實現(xiàn)：
[0010] -種基于緊框架特征字典的圖像修復方法，所述方法包括以下步驟：
[0011] SI:將圖像數(shù)據(jù)劃分成若干個圖像塊，其中，包括需要修復的目標圖像塊Ρτ，假設 目標結構特征ye Rd;
[0012] S2:利用DCT框架系統(tǒng)，將空間域的圖像結構信息變換到DCT框架域中，不同的頻帶 框架系數(shù)代表不同的頻帶特征，其中，所述DCT框架系統(tǒng)利用離散余弦變換DCT-Π型正交矩 陣構造出來；
[0013] S3:從已知的圖像數(shù)據(jù)區(qū)域中選取與所述目標圖像塊Pt具有相似結構特征的圖像 塊，構成對所述目標圖像塊Pt具有相似特征的樣本特征字典Ξ:=[由# 2，···，Ξη]，其中ΞιGRd 是第i個樣本特征，具體為:利用框架系數(shù)稀疏的先驗知識，建立基于加權I1范數(shù)的DCT框架 系數(shù)優(yōu)化模型，基于逼近算子的迭代算法獲取所述模型的解，構造出合適的特征字典Ξ;
[0014] S4:利用構造的特征字典會預測估計出目標圖像特征信息即,其中，CteRn為 線性組合系數(shù)；
[0015] S5:參照估計得出的目標圖像特征信息對圖像進行修復。
[0016] 進一步地，所述步驟S3中，在概率模型的假設下，利用拉普拉斯概率分布先驗模型 近似幾何框架系數(shù)的實際概率分布，同時假設模型噪聲的高斯分布條件下，利用MAP技術建 立自適應稀疏軟閾值算子，對圖像進行幾何框架系數(shù)稀疏表示；
[0017] 進一步地，獲取所述模型的解具體為:構造有約束的正則化模型框架下：
[0018] Ξα) I,
[0019] 其中φ(α)是系數(shù)約束項，從ν,Ξα)是特征的線性組合與目標特征的逼近程度，S是 解的約束空間，所述約束空間為仿射包、錐包或凸包;系數(shù)約束項φ(α)是系數(shù)的稀疏性，用 I 1范數(shù)或Io范數(shù)度量空間度量;是目標特征y與Ξα之間逼近程度，利用近似凸優(yōu)化 I0與Io的逼近算子作為求解Io的稀疏先驗問題。
[0020] 本發(fā)明的有益效果是:本發(fā)明利用DCT框架系統(tǒng)在不同頻帶檢測圖像結構特征信 息，研究DCT小框架域中樣本特征選取問題，解決圖像塊結構相似性的度量技術難點，具有 創(chuàng)新性;針對樣本特征字典所生成的線性特征結構空間，研究有約束空間特征字典構造問 題，具有理論性和針對性;利用近似凸優(yōu)化I q與Iq的逼近算子作為求解Iq的稀疏先驗問題， 有效地求解不可微的非凸優(yōu)化模型。
【附圖說明】
[0021] 圖1(a)是圖像數(shù)據(jù)缺失區(qū)域(黑色）；
[0022] 圖1(b)是非專利文獻1中的算法的修復結果；
[0023] 圖1(c)是Adobe Photoshop CC 2014內容識別填充技術的修復結果；
[0024]圖2是圖像塊示意圖；
[0025]圖3是對候選圖像進行與目標圖像塊Pt相似的特征圖像塊選取；
[0026]圖4是圖像修復問題不意圖；
[0027] 圖5(a)是不同頻帶的框架系數(shù)示意圖；
[0028] 圖5(b)是框架高頻系數(shù)大小的統(tǒng)計分布圖；
[0029] 圖6(a)是樣本在仿射包約束條件下的幾何意義；
[0030] 圖6(b)是樣本在錐包約束條件下的幾何意義；
[0031] 圖6(c)是樣本在凸包約束條件下的幾何意義；
[0032] 圖7是目標圖像塊Pt與在不同度量下不同結構圖像塊之間的相似程度示意圖。
【具體實施方式】
[0033]下面結合【附圖說明】及【具體實施方式】對本發(fā)明進一步說明。
[0034]在基于樣本特征修復框架下，需要將圖像數(shù)據(jù)劃分成很多圖像塊(Patch)，然后對 缺失區(qū)域逐塊進行填補修復圖像的結構信息。如附圖2所示，對于目標圖像塊Ρτ，需要從已 知的圖像數(shù)據(jù)區(qū)域中獲取與之具有相似結構特征P 1SP2,構成對目標圖像塊具有相似特征 的樣本特征字典。
[0035] 估計圖像塊之間的相似性，不能簡單利用范數(shù)度量圖像塊之間差的大小來決定它 們之間的相似度，如I2范數(shù)會傾向于選擇均勻光滑的圖像塊與紋理結構的圖像塊具有相似 性，而且結構相似的圖像塊，其數(shù)值也不一定相近。同時圖像特征也具有方向性，統(tǒng)計直方 圖并不具備區(qū)分方向性的特點，容易選擇出方向性不一致的樣本特征。樣本基特征字典的 構造問題需要能夠準確度量圖像塊之間的相似性距離空間，然而樣本特征具有方向性和結 構特性，需要研究新理論和技術手段或方法解決問題。
[0036] 對于給定的目標圖像塊，可能并不存在與其完全相同的圖像塊特征，需要研究能 夠完備地或近似逼近表示圖像目標信息的相應特征字典。構造特征字典涉及特征字典的特 征數(shù)目，過多的特征數(shù)會導致過高的計算復雜度，太少的特征數(shù)可能又無法表示目標。如附 圖3所示，左半邊圖表示與圖像塊Pt特征相似特征，右半邊圖表示從左邊圖中有效地選擇特 征，確定特征數(shù)目提高算法效率。同時，由于只已知目標圖像塊的部分結構信息，而填補的 數(shù)據(jù)需要從具有同樣的統(tǒng)計特性或幾何結構信息的特征字典中預測估計得到，所以需要考 慮將圖像的二維幾何方向特征信息嵌入到圖像特征字典的構造當中。緊框架能夠提取圖像 的局部特征信息，需要利用其方向特性嵌入到特征字典的構造中，特別是當觀察得到的圖 像特征樣本數(shù)據(jù)也存在數(shù)據(jù)缺失時，建立基于緊框架特征字典學習問題，解決圖像特征具 有方向性的特征字典構造問題。
[0037] 圖像經過緊框架變換，可以得到不同頻帶的框架系數(shù)，相同區(qū)域不同頻帶的框架 系數(shù)表征不同的圖像局部信息特征。在緊框架變換域中，大的框架系數(shù)表示該區(qū)域可能是 邊緣細節(jié)，小的系數(shù)可能是平滑區(qū)域或噪聲。局部的框架系數(shù)代表某一方向結構特征，度量 空間域圖像塊之間的相似性可以轉換到框架域中估計對應位置的框架系數(shù)。圖像細節(jié)信 息，例如邊緣、點、形狀輪廓等特征，某種程度是某一頻帶的信號特征，利用不同頻帶的高頻 特征信息，以便更好地區(qū)分圖像塊特征之間的差異性。因此，研究基于緊框架域的圖像特征 相似性度量問題是本發(fā)明首先研究的重點之一。
[0038] 在結構特征字典的構造過程中，字典需要能夠逼近或表示已知目標圖像塊，預計 的局部結構盡量的接近或相似。由非局部的圖像特征構成的空間需要滿足特定的條件，而 不僅僅是數(shù)據(jù)上的逼近，而且需要滿足已知的圖像二維幾何結構，同時特征字典需要某一 特定的空間約束，得到特征字典才能符合視覺需要。在二維幾何解空間有約束的先驗條件 下，建立合適的結構特征字典學習問題。因此，研究有線性約束空間的結構特征字典學習 問題是本發(fā)明的另一關問題。
[0039] 在圖像修復過程中，填補的圖像信息與周圍區(qū)域結構、紋理結構需要一致。緊框架 能夠提取圖像多頻帶的局部結構信息，利用不同頻帶的結構特征，研究融合局部特征與區(qū) 域特征一致性。在空間域上，利用構造的結構特征字典線性組合預測逼近目標圖像塊，同時 將稀疏性作為先驗條件挑選組合字典特征。線性系數(shù)稀疏性可以利用Io作為先驗約束條件 進行準確度量，Io是度量向量的非零個數(shù)，但是建立特征字典的稀疏約束問題仍然需要融 合區(qū)域的結構或紋理特征，滿足實際的視覺效果。因此，研究緊框架域和空間域結構特征融 合問題是本發(fā)明需要解決的第三關鍵問題。
[0040] 緊框架(Tight Frame)簡稱框架，能夠有效檢測圖像的局部特征信息，圖像在框架 基的分解下結合稀疏表示技術能夠保護圖像的邊緣細節(jié)，在圖像處理中得到很好的應用。 小框架基沒有線性獨立的要求，框架系統(tǒng)具有冗余性，比正交基系統(tǒng)可以更靈活，更容易結 合圖像的先驗知識，解決圖像中的問題。近年來，以新穎的研究視角構造基于離散余弦變換 DCT的框架理論，有效地保護圖像的文理結構信息，并應用于圖像修復問題。二維離散余弦 變換DCT-Π型正交矩陣，能有效地將信息能量集中到少數(shù)的非零變換系數(shù)上，廣泛應用于 圖像壓縮。以DCT-II型為研究基礎，假設大小為mXm的DCT-Π型的正交矩陣表示為：
[0041]

[0042] 將矩陣的每一行系數(shù)作為一維濾波器，其中第一行是低通濾波器，其它各行是高 通濾波器。如果用(^表示矩陣C除以的第i行，矩陣O 1表示濾波器C1在周期延拓條件下的 矩陣表示形豐5向葛· γ的、難波器系數(shù)。構造 證明矩陣⑴滿足：
[0043] ⑴
[0044] 也就是說，從濾波器系數(shù)Oix完全重建出向量X。
[0045]利用DCT框架系統(tǒng)，可以將空間域的圖像結構信息變換到DCT框架域中，不同的頻 帶框架系數(shù)代表不同的頻帶特征。在某種程度上可以認為，空間域上的結構被DCT框架基分 解成不同方向不同頻帶的特征系數(shù)。由于圖像是二維數(shù)據(jù)，一維的框架基通過張量的形式， 可以擴張成二維的框架系統(tǒng)。例如一維的框架基系統(tǒng)m = 3,張成二維的框架系統(tǒng)包括1個低 通框架基和8個高通框架基，并對圖5(a)左上角的圖像進行DCT框架基進行分解，得到不同 頻帶的框架系數(shù)，其中，圖5(a)左上角為原圖，左下角為低頻信息，其它為DCT框架高頻系 數(shù)。由圖5(a)所知，在不同的框架基分解下得到的特征是有所差異的，在圖像的相同位置不 同頻帶的框架系數(shù)是被檢測出不同的邊緣信息。度量不同的頻帶上度量特征之差，等價于 度量圖像塊的之間相似度。不同頻帶的高頻特征是區(qū)分相似性的重要信息，能夠更好地區(qū) 分不同圖像塊之間差異性。圖5(b)是圖5(a)框架高頻系數(shù)大小的統(tǒng)計分布圖，大部分框架 系數(shù)接近0,也即框架系數(shù)確實具有稀疏分布的先驗特性。由于圖像塊數(shù)值上的接近程度并 不能代表其結構的相似程度，度量圖像塊之間的相似性可以轉換度量圖像塊的框架系數(shù)的 概率之間的接近程度。因此研究代表局部特征信息的框架系數(shù)，在概率模型框架下度量圖 像特征的相似性。
[0046] 假設目標結構特征y e Rd，給定的相似樣本特征字典Ξ: = ，ξ2，…，Ξη]，其中Ξι e Rd是第i個樣本特征。對于特征字典的構造，需要確定字典特征數(shù)目，減少錯誤候選特征的 干擾，使構造的特征字典?能夠有效預測估計出目標圖像特征信息即= 其中線性組 合系數(shù)為aeRn。在線性空間的假設下，目標特征需要包含于樣本特征空間中。然而不同的 線性組合所張成的空間具有不同的幾何意義，如附圖6(a)~(c)所示，也即問題是在不同的 空間中需找與目標圖像塊一致的結構特征。假設集C: = (S1，Ξ2，…，Ξη}是樣本特征字典Ξ中 的η個樣本基組成，每個樣本特征看成是C中的一個點。由C中所有點的仿射線性組合生成的 集合稱為仿射包(Affine Hull)，定義如下：
[0047]
(2)
[0048] 仿射包對組合系數(shù)的約束是所有系數(shù)之和為1，其幾何意義如圖6(a)所示，仿射包 是經過三點的平面。當仿射包作為解的約束空間，相當于求解經過樣本特征的超平面與目 標圖像塊的逼近程度。當C中所有點的錐體線性組合生成的集合稱為錐包(Conic Hull)，定 義如下：
[0049]
(3)
[0050] 錐包對組合系數(shù)的約束是所有系數(shù)大于0,其幾何意義如圖6(b)所示，錐包是經過 〇點，并其邊界經過兩點包含的區(qū)域。當錐包作為解的約束空間，相當于求解經過樣本的錐 曲面與目標圖像塊的逼近程度。當C中所有點的凸的線性組合生成的集合稱為凸包(Convex Hull)，定義如下：
[0051 ]
(4)凸包對組合系數(shù) 的約束是所有系數(shù)大于0并且系數(shù)之和為1，其幾何意義如圖6(c)所示，凸包是包括三點的 最小凸集(三角形區(qū)域）。當凸包作為解的約束空間，相當于求解凸包中與目標圖像塊的最 逼近點。
[0052] 根據(jù)樣本特征線性空間的幾何意義，系數(shù)在不同的空間約束條件下，會在不同的 解空間中產生新的目標特征。對于特征字典的構造問題，可以將該問題轉換為線性問題對 給定特征的逼近，通過對系數(shù)的先驗假設，嵌入框架結構特征，建立系數(shù)的優(yōu)化模型構造出 合適的特征字典，同時約束由特征組合生成的特征空間，滿足目標圖像塊的特征結構。對于 本發(fā)明研究的問題可以歸結為有約束的正則化模型框架下：
[0053]
(5)
[0054] 其中Φ(α)是系數(shù)約束項，柯.ν,Ξα)是特征的線性組合與目標特征的逼近程度，S是 解的約束空間如仿射包、錐包或凸包。系數(shù)約束項Φ(α)可以是系數(shù)的稀疏性，例如用I 1范數(shù) 度量或Io范數(shù)度量空間度量。供是目標特征y與Ξα之間逼近程度，對于不同的優(yōu)化問 題，需要不同的度量距離估計二者之間的差異程度。在填補修復過程中，對于框架域和空間 域結構特征融合問題，交替考慮框架域填補的結構特征與空間域樣本特征字典線性組合預 計結構特征之間的關系，二者之間既相互約束又互相促進。
[0055] 建立的稀疏優(yōu)化模型存在不可導不光滑問題，需要利用新的理論工具進行求解， 準確求解模型所定義的解空間。逼近算子(Proximity Operator)理論工具，能有效解決圖 像處理中不光滑凸的優(yōu)化問題。假設Mu)，ueRd實數(shù)凸函數(shù)，γ是非負常數(shù)，(Hu)的逼近 算子定義為：
[0056]
(6)
[0057] 假設圖像受隨機高斯白噪聲的污染和框架系數(shù)滿足拉普拉斯獨立同分布的情況 下，利用I1逼近算子迭代求解基于加權I 1范數(shù)的DCT小框架系數(shù)稀疏優(yōu)化模型，用MAP技術自 適應迭代更新正則化參數(shù)，成功解決圖像恢復問題。在本發(fā)明基于緊框架特征字典的圖像 修復中，利用線性約束空間構造特征字典，融合框架域與空間域結構特征，解決圖像特征的 二維幾何方向問題。
[0058]稀疏性的先驗假設Io空間中，由于Io的非凸性，求解涉及Io的非凸優(yōu)化模型是困難 的問題。1:范數(shù)度量空間是Io度量空間中的最大凸集，用1:范數(shù)代替1〇,相當于在Io的度量空 間的子空間中，用I1度量的凸空間搜索滿足要求的解。近年來直接研究非凸優(yōu)化模型，為直 接求解Io的優(yōu)化模型提供理論基礎。令ueR d，γ >〇,根據(jù)凸函數(shù)的逼近算子定義(7)，將其 擴展成Io的逼近算子閉型形式：
[0059] ρΓΟΧγ I I U I I 0= (ρΓΟΧγ I Ul I Ο,ρΓΟΧγ I U2 I 0, ···，ΡΓΟΧγ I Ud I 0)， （7)
[0000]其中I · I Q表示一維非零的度量個數(shù)，每一維的逼近算子proxy I Ui I Q是硬閾值算 子。由于Io空間的非凸性，Io的逼近算子也是非凸函數(shù)。I1逼近算子在各種稀疏表示問題中 為建立有效地快速迭代算法，起到非常重要的作用。本發(fā)明相信Io的逼近算子同樣起到類 似1:的逼近算子效果，同時能夠在更大求解空間中尋找更能滿足問題的準確解。在解決非 凸不光滑的理論基礎上，采用解決I 1凸問題模型的思想用Io的逼近算子解決Io的優(yōu)化模型 問題。研究求解Io的稀疏優(yōu)化問題，作為圖像修復的重要技術手段，有效解決非凸不光滑問 題。將特征字典與稀疏表不技術有機結合起來，研究Io的非凸優(yōu)化模型，系統(tǒng)地研究解決病 態(tài)的圖像修復過程中的關鍵問題。由于優(yōu)化模型（5)存在不光滑凸或非凸的函數(shù)和目標函 數(shù)的不可微，需要利用迭代方法在高維空間中求解模型的解。利用逼近算子理論工具結合 系數(shù)稀疏優(yōu)化模型，研究建立交替迭代算法，解決模型（5)的求解問題。交替迭代方案可以 分為兩大步驟:步驟1求解模型關于系數(shù)稀疏的問題;步驟2求解系數(shù)在約束解空間S中投影 問題。
[0061]利用相似的非局部特征來填充目標圖像塊的缺失數(shù)據(jù)，需要在已知的數(shù)據(jù)區(qū)域中 選擇相似的特征結構。估計圖像塊之間的相似性，利用I2范數(shù)度量圖像塊之間差的大小來 決定它們之間的相似度，但是I 2范數(shù)作為度量距離會選擇到結構不相似的圖像塊。如附圖7 所示，第1行是用I2范數(shù)度量距離下排序的結果，不相似的均勻光滑圖像塊P 6比具有相似結 構的圖像塊P2在度量距離更近似具有文理結構的目標圖像塊Ρτ。實驗表明度量圖像塊之間 的相似性不能簡度量其數(shù)值之差，同時結構相似的圖像塊，其數(shù)值也不一定相近。因此，需 要考慮其結構和方向性，研究新的相似性度量方法，更有效地構造出樣本特征字典。如附圖 7所示，第2行的排序是用DCT框架系數(shù)的概率進行排序的結果，能夠準確區(qū)分出最接近目標 的圖像塊Pi和最不接近的圖像塊P 6 ACT小框架能夠有效提取不同頻帶的圖像局部特征信 息，將小框架理論應用于基于樣本的圖像修復過程中，在小框架系數(shù)的統(tǒng)計概率模型下，研 究基于DCT小框架域的圖像塊相似性度量，有效解決圖像塊之間的相似結構特征估計問題； 將DCT框架和框架系數(shù)概率分布模型應用于度量圖像塊的特征結構相似性，圖像塊結構相 似性排序結果如附圖7的第2所示。圖像塊之間的不同結構特征能夠準確地區(qū)分，初步結果 凸顯DCT框架系統(tǒng)與概率模型應用于樣本特征字典的構造的有效性。
[0062]綜上所述，本發(fā)明利用離散余弦變換DCT-Π 型正交矩陣，構造出具有冗余性的離 散余弦變換DCT框架系統(tǒng)，并成功應用于圖像修復領域，有效的修復圖像的文理結構信息。 圖像在DCT小框架基的分解下，得到的框架系數(shù)代表圖像不同方向或不同階的邊緣特征信 息，同時利用框架系數(shù)稀疏的先驗知識，建立基于加權I 1范數(shù)的DCT框架系數(shù)優(yōu)化模型，提 出基于逼近算子的迭代算法獲取模型的解。在概率模型的假設下，利用拉普拉斯概率分布 先驗模型近似幾何框架系數(shù)的實際概率分布，同時假設模型噪聲的高斯分布條件下，利用 MP技術建立自適應稀疏軟閾值算子，對圖像進行幾何框架系數(shù)稀疏表示，既能夠保護邊緣 特征又能濾除噪聲。
[0063]以上內容是結合具體的優(yōu)選實施方式對本發(fā)明所作的進一步詳細說明，不能認定 本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術領域的普通技術人員來說，在 不脫離本發(fā)明構思的前提下，還可以做出若干簡單推演或替換，都應當視為屬于本發(fā)明的 保護范圍。
【主權項】
1. 一種基于緊框架特征字典的圖像修復方法，其特征在于，所述方法包括以下步驟： S1:將圖像數(shù)據(jù)劃分成若干個圖像塊，其中，包括需要修復的目標圖像塊Ρτ，假設目標結 構特征yeRd; S2:利用DCT框架系統(tǒng)，將空間域的圖像結構信息變換到DCT框架域中，不同的頻帶框架 系數(shù)代表不同的頻帶特征，其中，所述DCT框架系統(tǒng)利用離散余弦變換DCT-Π 型正交矩陣構 造出來； S3:從已知的圖像數(shù)據(jù)區(qū)域中選取與所述目標圖像塊Ρτ具有相似結構特征的圖像塊，構 成對所述目標圖像塊Ρτ具有相似特征的樣本特征字典Ξ:=[由，Ξ2，…，Ξη]，其中Ξι e Rd是第i 個樣本特征，利用框架系數(shù)稀疏的先驗知識，建立基于加權h范數(shù)的DCT框架系數(shù)優(yōu)化模 型，基于逼近算子的迭代算法獲取所述模型的解，構造出合適的特征字典Ξ; S4:利用構造的特征字典會預測估計出目標圖像特征信息即其中，aer為線性 組合系數(shù)； S5:參照估計得出的目標圖像特征信息對圖像進行修復。2. 根據(jù)權利要求1所述的方法，其特征在于:所述步驟S3中，在概率模型的假設下，利用 拉普拉斯概率分布先驗模型近似幾何框架系數(shù)的實際概率分布，同時假設模型噪聲的高斯 分布條件下，利用MAP技術建立自適應稀疏軟閾值算子，對圖像進行幾何框架系數(shù)稀疏表 不。3. 根據(jù)權利要求1所述的方法，其特征在于:所述利用框架系數(shù)稀疏的先驗知識，建立 基于加權h范數(shù)的DCT框架系數(shù)優(yōu)化模型，基于逼近算子的迭代算法獲取所述模型的解，構 造出合適的特征字典i具體為:構造有約束的正則化模型框架下：其中，！Κα)是系數(shù)約束項，ρ(.ν，Ξ?)是特征的線性組合與目標特征的逼近程度，S是解 的約束空間，所述約束空間為仿射包、錐包或凸包；系數(shù)約束項Φ(α)是系數(shù)的稀疏性，用h 范數(shù)或1〇范數(shù)度量空間度量#(.ν，Ξα)是目標特征y與Ξα之間逼近程度;利用近似凸優(yōu)化1〇 與1〇的逼近算子作為求解1〇的稀疏先驗問題。4. 根據(jù)權利要求1所述的方法，其特征在于：大小為mXm的DCT-Π 型的正交矩陣表示 為：將矩陣的每一行系數(shù)作為一維濾波器，其中第一行是低通濾波器，其它各行是高通濾 波器。
【文檔編號】G06T5/00GK106056553SQ201610378196
【公開日】2016年10月26日
【申請日】2016年5月31日
【發(fā)明人】王岢, 張海軍, 李旭濤, 葉允明
【申請人】哈爾濱工業(yè)大學深圳研究生院