選擇圖像動態范圍轉換算子的方法和設備的制造方法
【技術領域】
[0001] 本發明設及轉換圖像的動態范圍W及對已經轉換的動態范圍的圖像編碼的一般 領域。
[0002] 本發明設及從一組圖像動態范圍轉換算子（operator)之中選擇圖像動態范圍轉 換算子的設備和方法。
[0003] 運種設備和方法能夠用于例如減小圖像的或圖像序列的動態范圍，也就是說修改 該圖像（或圖像序列中的每個圖像）的屬于給定動態值范圍的像素的輝度（luminance) 值，W便獲得屬于比（原始圖像序列的）原始圖像的動態值范圍更低的動態值范圍的輝度 值。
[0004] 運樣的方法或設備能夠用在對圖像或圖像序列編碼的方法和相應的設備中，諸如 用于對相當大的和/或減小的動態范圍的圖像（或圖像序列）編碼的方法和相應的設備。
【背景技術】
[0005] 已知使用色調映射算子（TMO)或色調再現器來修改（也被稱為變換或適配）例如 可W由高動態范圍照相機獲取的被稱為原始圖像的圖像，W獲得動態范圍更低的圖像（低 動態范圍圖像），W便使原始圖像的動態范圍適配例如顯示該圖像的屏幕的動態范圍。
[0006] 在下文中，轉換、適配或修改圖像的動態范圍等同于轉換、適配或修改該圖像的輝 度分量（值）。
[0007] 如果一旦其動態范圍被修改，原始圖像就被打算供顯示系統使用，則對該適配圖 像的輝度分量進行量化和編碼W便與顯示標準度T709等）兼容。在運種情況下，通常稱 為亮度（Iuma)分量而不是輝度分量。就其本身而言，輝度對應于Wcd/m2表示的物理單位。
[0008] 本發明可同等地適用于輝度分量和亮度分量。
[0009] 運些TMO之一是由Reinhard開發的，一般被稱為PTR算子巧einhard,E. ,Sta rk,M. ,Shirley,P.,和Ferwerda,J. ,"Photographictonereproductionfordigital images"，ACMTransactionsonGraphics21 (2002 年 7 月））。
[0010] 該圖像動態范圍轉換算子的原理是修改原始圖像的輝度分量LwW便通過使用由 式（1)給出的S形（sigmoid)映射曲線來獲得圖像的修改輝度分量Ld:
[0011]
(1)
[001引其中，Uhlt。是用來減少具有高輝度值的區域的輝度值，Ld是大小是圖像的大小并 且包括W比原始圖像的動態值范圍更低的動態值范圍表示的圖像的像素的輝度值的矩陣， Ls是大小是圖像的大小并且包括通過式（2)獲得的輝度值的矩陣：
[0013]
(2)
[0014] 其中，a是所選取的曝光值，k一般被稱為鍵化ey)，其定義由式（3)給出的圖像的 明度化ri曲tness)的指數：
[0015]
憐
[0016] 其中，N是圖像中的像素的數量，5是避免任何奇點（singularity)的值，L"(i)是 圖像的輝度分量U的像素i的輝度值。
[0017] 值a和是該TMO的兩個參數，它們是固定的，例如，對于參數a固定為18%， 對參數Uhit。固定為原始圖像的最大輝度值。忽略用來減少具有高輝度值的區域的因子，式 (1)可W重新用公式表示為：
[0018]
(4)
[0019] 還已知使用與圖像序列中的其他圖像的動態范圍無關地修改該圖像序列 中的每個圖像的動態范圍的算子，W及根據該圖像的像素和圖像序列中的在時間上 先于要轉換的圖像的預定數量的圖像的像素，為圖像的每次轉換選取鍵化ang，S. B. ,Uyttendaele,M. ,Winder,S.和Szeliski,R. ,"Highdynamicrangevideo"，[ACM SIG-GRAPH2003Paperson-SIGGRAPH'03], 319,ACMPress,紐約，紐約，美國（2003))。
[0020] 更具體地，根據式（3)來計算鍵，其中，N等于要轉換的圖像中的像素數量與圖像 序列中在時間上先于其的圖像中的像素數量之和。
[0021] 還已知使用如下算子，其使用根據當前圖像的鍵和在前圖像的那些鍵來動態 適配的多個在前圖像（Ramsey,S.,III,J.J.,和Hansen,C.,"Adaptivetemporaltone mapping,"ComputerGraphicsandImaging-2004(3), 3 - 7(2004))。
[0022] 還已知使用如下算子，其比較使用人類視覺系統化V巧的視覺響應的原 始圖像和輝度值屬于被適配于屏幕的動態范圍的圖像（Manti址,R. ,Daly,S.，和 Kerofsky,L. ,"Displayadaptivetonemapping"ACMTransactionsonGraphics 27,I(2008年8月）），其使得能夠獲得在該屏幕上的視覺感知的失真盡可能小的圖像。在 運些方法期間計算人類視覺系統的響應的結果之間的殘留誤差的最小化。該最小化得到是 分段線性的并且逐個圖像計算的轉換曲線。
[0023] 還已知對由先前闡述的對原始序列的每個圖像應用圖像動態范圍轉換算子而得 到的圖像序列應用處理，W便保留原始圖像序列中的圖像之間的明度的時間相干性。
[0024]例如，Boitard等人化Boitard等人，"Temporalcoheren巧forvideotone mapping"，Proc.SPIE8499,ApplicationsofDigitalImageProcessingXXXV, 2012年） 提出通過根據原始圖像序列的全局特征計算出的值來減小通過先前所提及的圖像動態范 圍轉換算子之一修改的原始圖像序列中的圖像的輝度分量Ld的值的動態范圍。
[0025] 于是，由式巧）給出減小的動態范圍輝度分量L'd:
[0026] L'd二R-Ld(5)
[0027] 根據變型，減小的動態范圍輝度分量L'd由式做給出：
[0028] L'd=(x+(l-x).R)Ld做
[0029] 其中，X是例如由用戶固定的減小值的偏移。
[0030] 在圖像動態范圍轉換算子是PTR算子的具體情況下，值R由式（7)給出：
[0031]
(巧
[0032] 運個后者實施例使得能夠保留對存在于原始圖像序列中的對象的感知并且確保 原始圖像序列中圖像之間的明度的時間相干性。
[0033] 根據實施例，值R由式做給出：
[0034]
巧）
[003引其中，!《f胃是原始圖像序列中的要轉換的圖像的輝度分量的鍵，、.是原始 圖像序列中的輝度分量的鍵之中的最大鍵，挺f&g是要轉換的圖像的修改輝度分量Ld的 鍵，是源自原始圖像序列的修改輝度分量Ld的鍵之中的最大鍵。
[0036] 還已知評估諸如先前所提及的算子那樣的圖像動態范圍轉換算子。潛在地，運些 算子能夠通過保留原始圖像序列中的圖像之間的明度的時間相干性的處理來補充。
[0037] 對于運樣的評估，已知使用對從應用該算子得到的圖像的主觀質量進行量化的評 估標準（Xedda等人.，"Evaluationoftonemappingoperatorsusingahighdynamic rangedisplay",ACMSIG-GRAPH2005Papers,紐約，NY,美國，2005 年，SIGGRAPH，05， 頁 640 - 648,ACM. ,W及Akiko化shida,叩ere巧 1:ualevaluationoftonemapping operatorswithreal-worldscenes"，ProceedingsofSPIE2005,卷 5666,頁192-203,SPIE)O
[0038] 然而，因為非常經常性地運些結果圖像（resultantimage)進行編碼，W便為了存 儲的目的而限制它們的大小或者為了在通信信道上傳送的目的而限制它們的比特率，所W 發明人觀察到，曾經在編碼和解碼之后重構的運些結果圖像并非系統地具有與已經由所述 標準評估的運些結果圖像的主觀質量相對應的呈現質量。

【發明內容】

[0039] 本發明的目的是克服先前提及的至少一個缺點。
[0040] 為此目的，一般地，對圖像動態范圍轉換算子的選擇基于優化質量標準，質量標準 是從對通過圖像動態范圍轉換算子修改的原始圖像進行編碼和解碼之后的重構的版本計 算出的失真的函數。
[0041] 因此，對于給定比特率，修改的動態范圍的圖像的主觀質量對于給定的比特率是 最優的。
[0042] 根據本發明的一個方面，本發明設及一種用于通過優化質量標準從一組圖像動態 范圍轉換算子之中選擇圖像動態范圍轉換算子的方法。每個圖像動態范圍轉換算子被應用 于原始圖像W獲得動態范圍低于原始圖像的動態范圍的被稱為修改的圖像的圖像，所述方 法的特征在于，針對每個圖像動態范圍轉換算子計算質量標準，作為從通過圖像動態范圍 轉換算子修改的圖像進行編碼和解碼之后的重構的版本計算出的失