基于反卷積圖像復原的高保真視頻放大方法
【技術領域】
[0001] 本發明設及成像技術領域，具體設及一種基于反卷積圖像復原的高保真視頻放大 方法。
【背景技術】
[0002] 近年來，隨著成像技術的不斷發展。高帖頻，高分辨率的相機越來越多的應用在軍 事，工業，安防，科研等諸多領域。但是受制于成像器件的分辨率，光學系統的放大倍率，相 機的尺寸重量等諸多因素，在很多應用場合仍無法滿足人們對于相機分辨力的要求。運時 往往需要結合光學系統的變倍技術和電子學圖像放大技術來提升相機的分辨力。
[0003] 電子學圖像放大技術通常是對原有分辨率的圖像進行插值處理，通過增加圖像分 辨率達到提升相機分辨力的目的。圖像插值的方法有很多，如鄰域插值，雙線性插值，雙Ξ 次插值等等。針對視頻處理，需要滿足系統實時性，不能采用一些過于復雜的算法。因此往 往采用易于硬件實現的方法進行插值。運類插值方法雖然能夠較快的完成插值處理，但是 由于算法簡單，往往對圖像質量造成損失，使圖像邊緣能量減弱，降低了圖像傳函。
[0004] 圖像復原技術，其數學本質是根據已知的g(x，y)W及h(x，y)與n(x，y)的部分先驗 信息，W不同的準則對f(x，y)進行估計，從而得到接近于實際場景(f(x，y))的估計值一- /Ι>，.ν；)。利用圖像復原技術可W較好恢復圖像邊緣的能量，使圖像能量更為集中，提升相 機傳遞函數。
[0005] 綜上所述，為了提升視頻放大后的圖像質量，并兼顧高速視頻處理要求的實時性， 有必要尋求高保真的視頻放大方法，且運種方法可在實際工程中得W實現。

【發明內容】

[0006] 本發明為提高相機視頻放大后圖像質量，解決提升分辨力與放大后圖像退化之間 的矛盾，提供一種基于反卷積圖像復原的高保真視頻放大方法。
[0007] 基于反卷積圖像復原的高保真視頻放大方法，該方法由W下步驟實現：
[000引步驟一、對待測相機鏡頭進行測試，獲得待測相機的點擴散函數h(x，y);
[0009] 步驟二、采用插值方法對原始圖像進行插值，獲得待復原的插值后的圖像g(x，y);
[0010] 步驟Ξ、對步驟一獲得的點擴散函數h(x，y)，采用傅里葉反變換到空間域中，得到 反卷積預選模板h_y (X，y);
[0011] 步驟四、對步驟Ξ獲得的反卷積預選模板h_y(x，y)進行截取，獲得尺寸為13X13 的反卷積模板h_m(X，y);
[0012] 步驟五、將反卷積模板h_m(x，y)與步驟二中待復原的插值后的圖像g(x，y)進行實 時的二維卷積，獲得復原后的放大圖像/Gy，-;'）。
[0013] 本發明的有益效果：
[0014] -、本發明提供了一種在現有技術條件下可行的基于反卷積圖像復原的高保真視 頻放大技術，減少普通視頻放大技術帶來的圖像退化，提升視頻相機的圖像放大質量。
[0015] 二、本發明并不限制插值方法，只要能夠保證視頻輸出實時性(延遲小于40ms)。
[0016] Ξ、為了解決圖像在軌復原的實時性難題，本發明將原本在頻域的復原搬移到了 空間域進行處理，保留了成熟的線性濾波復原圖像的可靠性(兩者在數學本質上相同），截 取能量分布的主要部分，采用小尺寸的空間域反卷積模板進行卷積處理，減小了空間域處 理的計算量，W滿足處理的實時性。
[0017] 四、本發明采用FPGA作為核屯、硬件平臺，基于并行流水線思想按像元時鐘速率進 行實時處理，降低了硬件性能要求和代碼設計復雜程度，易于工程實現。同時隨著FPGA集成 度和性能的提高，可針對不同倍數的放大倍率進行擴展，適應性強。
[0018] 五、本發明所述的方法可同時對非放大視頻進行圖像復原，整體提升相機輸出圖 像質量。
【附圖說明】
[0019] 圖1為本發明所述的基于反卷積圖像復原的高保真視頻放大方法的流程圖；
[0020] 圖2為本發明所述的基于反卷積圖像復原的高保真視頻放大方法中待測相機鏡頭 測試的原理框圖；
[0021] 圖3本發明所述的基于反卷積圖像復原的高保真視頻放大方法中根據相機參數獲 得的一種典型的尺寸為7X7的在軌歸一化點擴散函數h(x，y)示意圖；
[0022] 圖4為根據圖3獲得的能量分布高度集中的尺寸為256X256的空間域反卷積預選 模板h_y(x，y)的示意圖；
[0023] 圖5從圖3中截取的尺寸為13X13的空間域反卷積模板h_m(x，y)示意圖；
[0024] 圖6采用本發明所述的基于反卷積圖像復原的高保真視頻放大方法對h_m(x，y)與 g(x，y)進行卷積運算的示意圖；
[0025] 圖7采用本發明所述的基于反卷積圖像復原的高保真視頻放大方法實時復原系統 按行處理的時序示意圖；
[0026] 圖8中8a和8b為采用本發明所述的基于反卷積圖像復原的高保真視頻放大方法對 圖像進行放大的前后對比圖。
【具體實施方式】
【具體實施方式】 [0027] 一、結合圖1至圖8說明本實施方式，基于反卷積圖像復原的高保真 視頻放大方法，本實施方式中Wicx415al面陣CCD相機為例，給出基于反卷積圖像復原的高 保真視頻放大方法的實例：
[0028] 步驟a:采用點光源，平行光管，干設儀，對待測相機鏡頭進行測試，結合圖2,得出 點擴散函數PSF的值，利用歸一化方法得出較為準確的歸一化點擴散函數h(x，y)，如圖5所 /J、- 〇
[0029] 步驟b:利用雙線性插值的方法對原始圖像進行兩倍插值，在FPGA內部開辟兩個緩 存空間，每個大小為兩行圖像數據所占用的空間，按768個水平有效像元計算，共需要768* 2*8bit = 12288bit的存儲空間。采用兵鳥操作，對存儲空間內數據分時進行雙線性插值，分 別得出插值后的新行列圖像。隨后對新老圖像按順序統一輸出得出待復原的插值后的圖像 g(x,y)〇
[0030] 步驟c:利用步驟a所獲得的點擴散函數h(x，y)，采用傅里葉反變換到空間域中，得 到反卷積預選模板h_y (X，y)。
[0031] 步驟d:將h_y(x，y)能量分布高度集中的區域截取出來，根據具體的數值分布，截 取占總能能量分布99% W上的中央區域的矩陣作為空間域反卷積模板h_m(x，y)，如圖6所 /J、- 〇
[0032] 步驟e:將h_m(x，y)與待復原的插值后的圖像g(x，y)進行卷積則復原的計算過程 可表述為：
[0033]
[0034] a，b為反卷積模板水平和垂直方向元素個數減1后的一半，如模板為13 X 13，則a = b = 6，S，t為模板內各元素橫縱坐標。
[0035] 為了描述方便，圖6給出的是一個簡單的3X3空間域模板與圖像卷積的示意圖，首 先通過對空間域模板進行180°轉置，而后用轉置后的模板與圖像中3X3的區域進行卷積， 所得結果為圖像3X3區域中屯、點的復原后數值。為滿足系統實時性，相機像元時鐘為 30MHz，運樣采用30MHz的時鐘并行處理卷積模板和插值圖像的二維卷積，圖像為8bit的灰 度圖像，h_m( X，y)大小為13 X 13，通過FPGA的并行處理進行實現。
[0036] 本實施方式中采用現有的XILINX公司的Videx-6系列FPGA自帶748個DSP Slices，每個DSP Slices都是一個主頻可W達到600MHz的25 X 18bit二進制補碼乘法器W 及一個48bit的累加器，將上述的計算分配給DSP Slices進行并行處理，完全可W滿足計算 的要求，從而獲得復原后的圖像.Z'G、'，.!，；)，如圖7所示。數據流方向與模板運算方向相同，在 一個時鐘下完成一個像素的復原計算，當完成一行數據后，對下一行的數據進行計算，其方 向與相機運動方向相同。
[0037] 本實施方式的步驟b中可W采用其他形式的插值方法，其余的步驟與上述方法一 致。
[0038] 采用本實施方式所述的的視頻放大相機與原有普通視頻放大功能的相機在系統 上的區別如圖8所示，二者本職區別即本發明的視頻放大功能結合圖像復原技術，在對圖像 插值后進行反卷積圖像復原，達到彌補插值帶來的圖像退化的效果。
【主權項】
1. 基于反卷積圖像復原的高保真視頻放大方法，其特征是，該方法由以下步驟實現： 步驟一、對待測相機鏡頭進行測試，獲得待測相機的點擴散函數h( x，y); 步驟二、采用插值方法對原始圖像進行插值，獲得待復原的插值后的圖像g(x，y); 步驟三、對步驟一獲得的點擴散函數h(x，y)，采用傅里葉反變換到空間域中，得到反卷 積預選模板h_y (X，y); 步驟四、對步驟三獲得的反卷積預選模板h_y(x，y)進行截取，獲得尺寸為13X13的反 卷積模板h_m(X，y); 步驟五、將反卷積模板h_m(x，y)與步驟二中待復原的插值后的圖像g(x，y)進行實時的 二維卷積，獲得復原后的放大圖像。2. 根據權利要求1所述的基于反卷積圖像復原的高保真視頻放大方法，其特征在于，步 驟一中，采用點光源、平行光管以及干涉儀對待測相機鏡頭進行測試，點光源經平行光管后 入射至待測相機鏡頭，干涉儀根據接收的待測相機鏡頭的信息，獲得待測相機的點擴散函 數。3. 根據權利要求1所述的基于反卷積圖像復原的高保真視頻放大方法，其特征在于，步 驟二中，采用雙線性插值的方法對原始圖像進行兩倍插值，在FPGA內部開辟兩個緩存空間， 每個緩存大小為兩行圖像數據所占用的空間，采用乒乓操作，對存儲空間內的數據分時進 行雙線性插值，獲得待復原的插值后的圖像。
【專利摘要】基于反卷積圖像復原的高保真視頻放大方法，涉及成像技術領域，本發明提高相機視頻放大后圖像質量，解決提升分辨力與放大后圖像退化之間的矛盾等問題，本發明對待測相機鏡頭進行測試，獲得待測相機的點擴散函數，采用插值方法對原始圖像進行插值，獲得待復原的插值后的圖像，對的點擴散函數采用傅里葉反變換到空間域中，得到反卷積預選模板；并對其進行截取，獲得尺寸為13×13的反卷積模板；將反卷積模板與待復原的插值后的圖像進行實時的二維卷積，獲得復原后的放大圖像。本發明基于并行流水線思想按像元時鐘速率進行實時處理，降低了硬件性能要求和代碼設計復雜程度，易于工程實現。適應性強。
【IPC分類】H04N5/14, G06T5/00
【公開號】CN105491269
【申請號】CN201510821481
【發明人】張宇, 王文華
【申請人】長春乙天科技有限公司
【公開日】2016年4月13日
【申請日】2015年11月24日