一種基于小波變換域壓縮感知的超分辨率圖像復原方法
【專利摘要】本發明公開了一種基于小波變換域壓縮感知的超分辨率圖像復原方法，解決了現有基于壓縮感知超分辨率圖像復原技術的缺點與不足。該基于小波變換域壓縮感知的超分辨率圖像復原方法包括訓練過程和復原過程，通過結合小波變換和壓縮感知的特點，對小波域細節子帶進行壓縮感知，直接實現細節子帶的超分辨率復原，進而結合原始低分辨率圖像實現高分辨率圖像復原，從而為超分辨率圖像復原提供了更有力的技術支持。
【專利說明】
一種基于小波變換域壓縮感知的超分辨率圖像復原方法
技術領域
[0001] 本發明涉及圖像復原技術領域，具體的說，是涉及一種基于小波變換域壓縮感知 的超分辨率圖像復原方法。
【背景技術】
[0002] 超分辨率圖像復原是指用信號處理的方法從低分辨率圖像重建高分辨率圖像的 技術。超分辨率圖像復原技術可改善由于圖像離散化、退化引起的分辨率下降，彌補原有圖 像分辨的不足，突破圖像獲取手段分辨率的極限，發掘現有圖像數據深層信息的潛力。在醫 學診斷、模式識別、視頻監控、生物鑒別、高清晰電視成像、遙感圖像解譯、高空對地觀測等 領域有著廣泛的應用。
[0003] 現有的超分辨圖像復原技術大體可分為三類:基于插值的方法、基于重構的方法 和基于學習的方法。
[0004] 基于插值的方法針對單幅圖像，通過設計具有局部平滑性的插值核函數來估計高 分辨圖像網格上的未知像素值，從而達到提高分辨率的目的，如雙線性插值、雙三次插值 等。基于插值的方法是早期研究的一類主要方法，優點在于簡單、快速，便于實時應用;其缺 點在于不能有效恢復低分辨圖像中丟失的高頻信息，容易導致圖像模糊，滿足不了實際應 用。
[0005] 基于重構的方法針對自來同一場景但彼此之間存在亞像素位移的多幅低分辨圖 像，在考慮多種圖像降質因素的基礎上建立圖像降質模型，然后利用信號處理方法求解降 質模型逆過程，即從低分辨率圖像序列估計出高分辨圖像。因為利用了多幅低分辨圖像的 互補信息以及降質過程的先驗知識，從而可獲得更好質量的高分辨復原圖像，其缺點在于 放大倍數比較大時，超分辨圖像的質量不能令人滿意，會出現圖像細節信息丟失，邊緣模糊 等情況。
[0006] 基于學習的方法借助機器學習，通過加入一些先驗約束來學習低分辨與高分辨圖 像之間的某種映射關系，預測低分辨圖像中丟失的高頻細節信息，從而生成超分辨圖像。這 類方法由于其現有和潛在的諸多優點，近年來受到了專家和學者的廣泛關注。其中最近幾 年出現的基于壓縮感知的超分辨率復原是目前公認的一種具有較好前景的方法。該方法利 用圖像的稀疏特性，認為低分辨率圖像具有與高分辨圖像相同的稀疏描述，通過訓練獲得 低分辨率圖像和高分辨率圖像的超完備字典，然后從低分辨率字典中查找圖像的稀疏描 述，并由此稀疏描述從高分辨率字典中重構高分辨率圖像。然而，通過模擬仿真我們發現， 這種方法應用于實際圖像時存在完備集字典中原子個數居高不下以及圖像稀疏描述的稀 疏度較高的缺陷。這兩個缺陷將進一步導致訓練時間長，復原過程計算復雜度高，復原高分 辨率圖像質量不穩定等問題。究其原因，主要有兩個方面，一是該方法直接在空間域進行稀 疏描述，從而導致圖像稀疏描述的稀疏度較高。二是對所有圖像塊一視同仁，沒有考慮不同 類別圖像塊的特點，從而導致訓練所得完備字典原子數居高不下，且對復雜圖像復原結果 欠佳等問題。

【發明內容】

[0007] 本發明的目的在于解決現有技術所存在的問題，提供了一種實現方便、基于小波 變換域壓縮感知的超分辨率圖像復原方法。
[0008] 為了實現上述目的，本發明采用以下技術方案：
[0009] -種基于小波變換域壓縮感知的超分辨率圖像復原方法，包括以下步驟：
[0010] ⑴訓練：
[0011] (101)收集若干高分辨率圖像；
[0012] (102)對每幅高分辨率圖像進行下采樣，獲得對應的低分辨率圖像；
[0013] (103)對每對高分辨率/低分辨率圖像進行一級小波變換，得到高分辨率/低分辨 率圖像的HL，LH，HH細節子帶圖像；
[0014] (104)從各類細節子帶圖像中隨機采樣若干高分辨率/低分辨率樣本塊對，并建立 相應的訓練樣本集對：

[0015] (105)利用各類細節子帶圖像的訓練樣本集對，根據壓縮感知理論，訓練各類細節 子帶圖像對應的高分辨率字典和低分辨率字典對：
[0016] (2)復原：
[0017] (201)輸入低分辨率圖像；
[0018] (202)對輸入的低分辨率圖像進行一級小波變換，得到其HL，LH，HH細節子帶圖像
[0019] (203)將步驟(202)獲得的細節子帶圖像劃分為N X N大小的不重疊塊；
[0020] ( 2 0 4 )據壓縮感知理論，利用所述步驟（I 0 5 )獲得的低分辨率字典 i>嚴，1)嚴}優化求解每塊的稀疏描述；
[0021] (205)根據壓縮感知理論，由每塊的稀疏描述復原其對應的MXM大小的高分辨率 細節塊；
[0022] (206)由高分辨率細節塊構建大小與所述步驟(201)中原始低分辨率圖像相同的 高分辨HL，LH，HH細節子帶圖像；
[0023] (207)將所述步驟(201)中的低分辨率圖像作為LL子帶，結合所述步驟(206)得到 的三個高分辨率HL，LH，HH細節子帶，做一級小波反變換，獲得高分辨率復原圖像。
[0024] 進一步的，所述步驟（102)中下采樣的行列采樣間隔均為2。即低分辨率圖像的行 列數分別為高分辨率圖像的1/2.
[0025] 進一步的，所述步驟（103)中小波變換選用Daubechies系列小波基中的一種，且所 述步驟(202)中小波變換和所述步驟(207)中小波反變換采用與所述步驟（102)中小波變換 一樣的小波基。
[0026] 進一步的，所述步驟(104)的具體方法如下:對每一對高分辨率圖像和低分辨率圖 像，從其對應的細節子帶對中隨機采樣若干MXM大小的高分辨樣本塊和NXN大小的低分辨 率樣本塊，將高分辨樣本塊和低分辨率樣本塊一維化后，放入對應的高分辨率子帶訓練集 和低分辨率子帶訓練集中。
[0027]進一步的，所述步驟（105)中，通過交替固定Dc和Z來求解公式（1)所描述優化問題
[0028] 來實現各類細節子帶圖像的低分辨字典D1和高分辨字典Dh的訓練：
[0029]
[0030]式中，Xh表示細節子帶圖像的高分辨率樣本塊集合,Y1表示細節子帶圖像的低分辨 率樣本塊集合，λ為常數，Z為高分辨和低分辨子帶圖像塊共同對應的稀疏描述集，該優化過 程需要做三次，分別針對HL，LH，HH細節子帶集。
[0031]進一步的，所述步驟(203)中，若細節子帶圖像的高或寬不是N的整數倍，則采用邊 界拓展法將細節子帶圖像的寬高擴展到N的整數倍。
[0032]進一步的，所述步驟(204)中，對細節子帶圖像Bxx的每一NXN大小的塊yxx，利用低 分辨字典/>/〃，/)f〃，}，采用線性規劃方法解公式(2)所描述優化問題獲得α的最 優解，即yxx的稀疏描述α χχ:
[0033]
(2)
[0034] 其中，XXe{HL，LH，HH}。
[0035] 式中，/>廣表示某類低分辨字典，yxx代表低分辨某類細節子帶圖像的NXN大小塊， λ為常數，α為子帶圖像塊的稀疏描述。
[0036]進一步的，所述步驟(205)中，每一NXN大小的塊yxx的稀疏描述αχχ，采用公式(3) 獲得其對應的M X M大小的高分辨細節子帶圖像塊Xxx。
[0037]
C3)
[0038] 其中，XXe{HL，LH，HH}。
[0039] 式中，Dff表示某類高分辨字典。
[0040] 進一步的，所述步驟(206)中，在高分辨細節子帶圖像的構建過程中，M XM大小的 高分辨細節子帶圖像塊Xxx的放置位置與其對應的N X N大小的塊yxx相同。
[0041] 進一步的，所述高分辨細節子帶圖像塊Xxx的尺寸M為yxx尺寸N的2倍。
[0042] 與現有技術相比，本發明具有以下有益效果：
[0043] 本發明克服了目前基于壓縮感知的超分辨率圖像復原技術的缺點與不足，通過結 合小波變換和壓縮感知的特點，對小波變換域細節子帶進行壓縮感知，直接實現細節子帶 的超分辨率復原，進而結合低分辨率圖像實現高分辨率圖像復原，從而為超分辨率圖像復 原提供了更有力的技術支持。
【附圖說明】
[0044] 圖1為本發明用于超分辨率圖像復原的訓練過程方法流程圖。
[0045] 圖2為本發明用于超分辨率圖像復原的復原過程方法流程圖。
【具體實施方式】
[0046] 下面結合附圖和實施例對本發明作進一步說明，本發明的實施方式包括但不限于 下列實施例。
[0047] 本文中術語"和/或"，僅僅是一種描述關聯對象的關聯關系，表示可以存在三種關 系，例如，A和/或B，可以表示:單獨存在A，單獨存在B，同時存在A和B三種情況，本文中術語 7和"是描述另一種關聯對象關系，表示可以存在兩種關系，例如，A/和B，可以表示:單獨存 在A，單獨存在A和B兩種情況，另外，本文中字符7"，一般表示前后關聯對象是一種"或"關 系。
[0048] 實施例
[0049] 如圖1-2所示，本實施例提供了一種基于小波變換域壓縮感知的超分辨率復原方 法，該方法結合小波變換和壓縮感知的特點，對小波變換域細節子帶進行壓縮感知，直接實 現細節子帶的超分辨率復原，進而結合低分辨率圖像實現高分辨率圖像復原。
[0050] 基于小波變換域壓縮感知的超分辨率復原方法主要包括兩個過程:訓練過程和復 原過程。下面，對各過程進行詳細說明：
[0051] -、訓練過程
[0052] (101)收集若干高分辨率圖像;圖像的收集可以來自網頁，也可來自專業圖像庫。
[0053] (10 2)對每幅高分辨率圖像進行下采樣，獲得對應的低分辨率圖像;相應的高分辨 率圖像和其對應的低分辨率圖像可以構成一對高分辨率/低分辨率圖像;在本實施例中，下 采樣的行列采樣間隔均為2,即低分辨率圖像的行列數分別為高分辨率圖像的1/2。
[0054] (103)對每對高分辨率/低分辨率圖像進行一級小波變換，得到高分辨率/低分辨 率圖像的HL，LH，HH細節子帶圖像;其中，小波變換選用Daubechies系列小波基中的一種。小 波變換是一種現有的變換分析方法，它繼承和發展了短時傅立葉變換局部化的思想，同時 又克服了窗口大小不隨頻率變化等缺點，能夠提供一個隨頻率改變的"時間-頻率"窗口，是 進行信號時頻分析和處理的理想工具。它的主要特點是通過變換能夠充分突出問題某些方 面的特征，能對時間（空間）頻率的局部化分析，通過伸縮平移運算對信號（函數)逐步進行 多尺度細化，最終達到高頻處時間細分，低頻處頻率細分，能自動適應時頻信號分析的要 求。
[0055] (104)從各類細節子帶圖像中隨機采樣若干高分辨率/低分辨率樣本塊對，并建立 相應的訓練樣本集對= UfJfil·，h小波變換后得到的細節子 帶圖像類型有:見，1^，冊，在本步驟中，即對每一類的細節子帶圖像進行隨機采樣，并建立 對應的樣本集;具體的說:對每一對高分辨率圖像和低分辨率圖像，從其對應的細節子帶對 中隨機采樣若干M X M大小的高分辨樣本塊和N X N大小的低分辨率樣本塊，將高分辨樣本塊 和低分辨率樣本塊一維化后，放入對應的高分辨率子帶訓練集和低分辨率子帶訓練集中。 以HL細節子帶為例，具體為:對每一對高分辨和低分辨圖像，從其對應的HL細節子帶對中隨 機采樣若干M X M大小的高分辨樣本塊和N X N大小的低分辨率樣本塊，將他們一維化后放入 對應的高分辨率子帶訓練集和低分辨率子帶訓練集:F/?中；訓練樣本集的大小一般為 5000-10000。低分辨細節樣本塊的尺寸N-般為6-10。高分辨細節樣本塊的尺寸M通常為N的 兩倍。
[0056] (105)利用各類細節子帶圖像的訓練樣本集對，根據壓縮感知理論，訓練各類細節 子帶圖像對應的高分辨率字典和低分辨率字典對KiIT丨，丨枵〃叱"KdiC，-〇嚴}; 其中，低分辨字典為{，Aiw }，高分辨字典為DfS }。壓縮感 知理論，也稱壓縮采樣、壓縮傳感，它通過開發信號的稀疏特性，在遠小于Nyquist采樣率的 條件下，用隨機采樣獲取信號的離散樣本，然后通過非線性重建算法完美的重建信號。在本 步驟中，通過交替固定D。和Z求解公式（1)所描述優化問題來實現各類細節子帶圖像的低分
胃卜壬η吉乂\韋庳今曲η,的。丨丨丨少左·
[0057]
[0058]
[0059]式中，Xh表示細節子帶圖像的高分辨率樣本塊集合,Y1表示細節子帶圖像的低分辨 率樣本塊集合，λ為常數，Z為高分辨和低分辨子帶圖像塊共同對應的稀疏描述集合。
[0060] 以HL細節子帶為例，具體為:求解下列公式所描述優化問題來實現其低分辨字典 1>產和高分辨字典Dfi的訓練：
[0061]
[0062]
[0063]高分辨率字典/低分辨率字典的尺寸，即原子的個數選擇需要折中考慮計算復雜 度和圖像復原質量，一般為256-1024。
[0064]完成訓練過程后，需要基于訓練結果，完成復原過程，具體如下：
[0065] 二、復原過程
[0066] (201)輸入一幅低分辨率圖像;該低分辨率圖像為原始輸入圖像。
[0067] (202)對輸入的低分辨率圖像進行一級小波變換，得到其HL，LH，HH細節子帶圖像 {ΒΗ?，Β?Η，ΒΗΗ};在本步驟中，小波變換所采用的小基波與步驟(103)中的小基波完全一致。 [0068] (203)將步驟(202)獲得的細節子帶圖像劃分為NXN大小的不重疊塊;本步驟中， 在塊劃分過程中，塊的大小與步驟（104)采用的N完全一致，如果細節子帶圖像的高或寬不 是N的整數倍，用邊界拓展法如補零、反折或邊界拷貝中的一種將細節子帶圖像的寬高擴展 至IjN的整數倍。
[0069] ( 2 0 4 )據壓縮感知理論，利用所述步驟（I 0 5 )獲得的低分辨率字典 {i>嚴，/)廣.，Dff丨優化求解每塊的稀疏描述;在本步驟中，對細節子帶圖像Bxx的每一N XN大小的塊yxx，利用低分辨字典{2>嚴，1>廠，i>fff }，采用線性規劃方法解公式(2)所描 述優化問題獲得α的最優解，即yXX的稀疏描述αΧΧ:
[0070] min|z>^-a _ + ^.H1 (幻
[0071] 其中，XXe{HL，LH，HH}。
[0072] 式中，〇嚴表示某類低分辨字典，yxx代表低分辨某類細節子帶圖像的NXN大小塊， λ為常數，α為子帶圖像塊的稀疏描述。
[0073] (205)根據壓縮感知理論，由每塊的稀疏描述復原其對應的MXM大小的高分辨率 細節塊;在本步驟中，對每一 NXN大小的塊yxx的稀疏描述αχχ，采用公式(3)獲得其對應的M X M大小的高分辨細節子帶圖像塊Xxx。
[0074] Xxx =D^axx (3)
[0075] 其中，XXe{HL，LH，HH};
[0076] 本實施例中，高分辨細節子帶圖像塊xxx的尺寸M為yxx尺寸N的2倍。
[0077] (206)由高分辨率細節塊構建大小與所述步驟(201)中原始低分辨率圖像相同的 高分辨HL，LH，HH細節子帶圖像;在高分辨細節子帶圖像的構建過程中，M X M大小的高分辨 細節子帶圖像塊Xxx的放置位置與其對應的N X N大小的塊yxx相同。
[0078] (207)將所述步驟(201)中的原始低分辨率圖像作為LL子帶，結合所述步驟(206) 得到的三個高分辨率HL，LH，HH細節子帶，做一級小波反變換，獲得高分辨率復原圖像。本步 驟中，小波反變換采用與步驟(103)中小波變換完全一致的小波基。
[0079]按照上述實施例，便可很好地實現本發明。值得說明的是，基于上述設計原理的前 提下，為解決同樣的技術問題，即使在本發明所公開的結構或方法基礎上做出的一些無實 質性的改動或潤色，所采用的技術方案的實質仍然與本發明一樣，故其也應當在本發明的 保護范圍內。
【主權項】
1. 一種基于小波變換域壓縮感知的超分辨率復原方法，其特征在于，包括以下步驟： ⑴訓練： (101) 收集若干高分辨率圖像； (102) 對每幅高分辨率圖像進行下采樣，獲得對應的低分辨率圖像； (103) 對每對高分辨率/低分辨率圖像進行一級小波變換，得到高分辨率/低分辨率圖 像的HL，LH，HH細節子帶圖像； (104) 從HL，LH，HH細節子帶圖像中隨機采樣若干高分辨率/低分辨率樣本塊對，并建立 相應的訓練樣本集對廣丨，丨;F/，" }; (105) 利用各類細節子帶圖像的訓練樣本集對，根據壓縮感知理論，訓練各類細節子帶 圖像對應的高分辨率字典和低分辨率字典對:{Dfl，：丨％·〃/>/·"}，{ Df"，}; (2)復原： (201) 輸入低分辨率圖像； (202) 對輸入的低分辨率圖像進行一級小波變換，得到低分辨HL，LH，HH細節子帶圖像； (203) 將步驟(202)獲得的每個細節子帶圖像劃分為N X N大小的不重疊塊； (204) 據壓縮感知理論，利用所述步驟（105)獲得的低分辨率字典丨Df% 1>嚴，} 優化求解步驟(203)獲得的每塊的稀疏描述； (205) 根據壓縮感知理論，由每塊的稀疏描述復原其對應的MXM大小的高分辨率細節 塊； (206) 由高分辨率細節塊構建大小與所述步驟(201)中低分辨率圖像相同的高分辨HL， LH，HH細節子帶圖像； (207) 將所述步驟（201)中的低分辨率圖像作為LL子帶，結合所述步驟(206)得到的三 個高分辨率HL，LH，HH細節子帶，做一級小波反變換，獲得高分辨率復原圖像。2. 根據權利要求1所述的基于小波變換域壓縮感知的超分辨率復原方法，其特征在于， 所述步驟(102)中下采樣的行列采樣間隔均為2。3. 根據權利要求1所述的基于小波變換域壓縮感知的超分辨率復原方法，其特征在于， 所述步驟（103)中小波變換選用Daubechies系列小波基中的一種，且所述步驟(202)中小波 變換和所述步驟(207)中小波反變換采用與所述步驟(102)中小波變換一樣的小波基。4. 根據權利要求1所述的基于小波變換域壓縮感知的超分辨率復原方法，其特征在于， 所述步驟(104)的具體方法如下:對每一對高分辨率圖像和低分辨率圖像，從其對應的細節 子帶對中隨機采樣若干Μ X Μ大小的高分辨樣本塊和N X N大小的低分辨率樣本塊，將高分辨 樣本塊和低分辨率樣本塊一維化后，放入對應的高分辨率子帶訓練集和低分辨率子帶訓練 集中。5. 根據權利要求4所述的基于小波變換域壓縮感知的超分辨率復原方法，其特征在于， 所述步驟（105)中，通過交替固定Dc和Ζ來求解公式（1)所描述優化問題來實現各類細節子 帶圖像的低分辨字典Di和高分辨字典Dh的訓練：式中，Xh表示細節子帶圖像的高分辨率樣本塊集合，Yi表示細節子帶圖像的低分辨率樣 本塊集合，λ為常數，Z為高分辨和低分辨子帶圖像塊共同對應的稀疏描述集。6. 根據權利要求5所述的基于小波變換域壓縮感知的超分辨率復原方法，其特征在于， 所述步驟(203)中，若細節子帶圖像的高或寬不是Ν的整數倍，則采用邊界拓展法將細節子 帶圖像的寬高擴展到Ν的整數倍。7. 根據權利要求1所述的基于小波變換域壓縮感知的超分辨率復原方法，其特征在于， 所述步驟（204)中，對細節子帶圖像的每一ΝΧΝ大小的塊y xx，利用其對應的低分辨字典 ? Ζ>/??〃"丨，采用線性規劃方法解公式(2)所描述優化問題獲得α的最優解，即yxx 的稀疏描述αχχ:其中，XXe {HL，LH，HH}; 式中，私1表示某類低分辨字典，yxx代表低分辨某類細節子帶圖像的ΝΧΝ大小塊，λ為 常數，α為子帶圖像塊的稀疏描述。8. 根據權利要求7所述的基于小波變換域壓縮感知的超分辨率復原方法，其特征在于， 所述步驟(205)中，每一ΝΧΝ大小的低分辨細節塊y xx的稀疏描述αχχ，采用公式(3)獲得其對 應的Μ X Μ大小的高分辨細節子帶圖像塊χχχ:其中，XXe {HL，LH，HH}; 式中，表示某類高分辨字典。9. 根據權利要求8所述的基于小波變換域壓縮感知的超分辨率復原方法，其特征在于， 所述步驟(206)中，在高分辨細節子帶圖像的構建過程中，MXM大小的高分辨細節子帶圖像 塊x XX放置在相應細節子帶圖像中與其對應的NXN大小的塊yxx的位置。10. 根據權利要求9所述的基于小波變換域壓縮感知的超分辨率復原方法，其特征在 于，所述高分辨細節子帶圖像塊xxx的尺寸Μ為y xx尺寸N的2倍。
【文檔編號】G06T5/00GK106056548SQ201610357291
【公開日】2016年10月26日
【申請日】2016年5月25日
【發明人】李曉華, 周激流
【申請人】四川大學