基于圖像梯度的圖像濾波的制作方法
【專利摘要】本發(fā)明的各實(shí)施例總體上涉及基于圖像梯度的圖像濾波。具體地，描述了一種在其中對圖像應(yīng)用濾波操作的圖像處理方法和系統(tǒng)，其中，濾波操作使用基于圖像中的圖像梯度的濾波代價(jià)。以這種方式，取決于針對圖像區(qū)域的圖像梯度來對針對圖像區(qū)域的圖像數(shù)據(jù)進(jìn)行濾波。這可以對不同情形有用，例如在將圖像進(jìn)行組合以形成高動(dòng)態(tài)范圍(HDR)圖像時(shí)有用。濾波操作可以被用作確定連通圖像區(qū)域的連通性單元的一部分，并且/或者濾波操作可以被用作將兩幅或更多幅圖像融合在一起以形成經(jīng)融合的圖像的融合單元的一部分。
【專利說明】
基于圖像梯度的圖像濾波
技術(shù)領(lǐng)域
[0001] 本發(fā)明的各實(shí)施方式總體上涉及圖像處理，具體地涉及基于圖像梯度的圖像濾 波。
【背景技術(shù)】
[0002] 相機(jī)被用于捕獲圖像。對數(shù)字相機(jī)中的光傳感器的基本限制之一是它們的動(dòng)態(tài)范 圍，其描述可由光傳感器檢測到的最小光強(qiáng)度與最大光強(qiáng)度之間的比率。盡管量化在可實(shí) 現(xiàn)的動(dòng)態(tài)范圍中發(fā)揮重要作用，但是限制本質(zhì)上常常主要是物理方面的。最小可檢測光強(qiáng) 度取決于傳感器元件尺寸、效率和噪聲基底。單個(gè)像素在緊湊設(shè)備中常常是極小的，導(dǎo)致在 低光照條件中捕獲光子的低可能性和對來自各種噪聲源和相鄰像素的干擾的高易感性。最 大可檢測光強(qiáng)度可以由傳感器元件能夠根據(jù)光生成的電荷的最大量確定，這可以導(dǎo)致飽和 效應(yīng)。圖像的曝光水平能夠例如通過調(diào)節(jié)曝光時(shí)間、光圈尺寸或傳感器靈敏度來調(diào)節(jié)。圖像 的曝光水平可以被調(diào)節(jié)以適合要捕獲圖像的場景的光照條件，例如針對暗場景，可以增大 曝光水平，而針對亮場景，可以減小曝光水平。調(diào)節(jié)圖像之間的曝光水平允許更寬的操作范 圍，但是不影響單個(gè)曝光或圖像的動(dòng)態(tài)范圍。
[0003] 高動(dòng)態(tài)范圍（HDR)圖像能夠通過將具有不同曝光水平，例如具有不同曝光時(shí)間和/ 或傳感器靈敏度設(shè)置的不同曝光水平的多幅圖像合并（即，融合)來構(gòu)建。例如，可以順序地 捕獲場景的兩幅或更多幅圖像，并且之后經(jīng)順序捕獲的圖像可以被融合以形成HDR圖像。例 如，可以捕獲兩幅圖像:第一幅圖像具有高曝光水平(其在本文中可以被稱為"長曝光"），并 且第二幅圖像具有低曝光水平(其在本文中可以被稱為"短曝光"）。兩幅圖像能夠被組合使 得在暗圖像區(qū)域中（例如，在陰影中）長曝光主要（例如，僅僅)被用于形成經(jīng)融合的HDR圖 像，因?yàn)殚L曝光很可能比短曝光具有更少噪聲。然而，在亮圖像區(qū)域(例如，天空）中，長曝光 可以是飽和的并且因此短曝光主要(例如，僅僅)被用于形成經(jīng)融合的HDR圖像，以避免這些 圖像中的來自長曝光的不想要的飽和效應(yīng)。如果被用于形成HDR圖像的圖像之間的過渡是 尖銳的，則它們可能在HDR圖像中是引人注目的，這可能是在感知上不利的。因此，使過渡在 一系列像素上平滑使得過渡不是如此尖銳的，并且因此在HDR圖像中不是如此引人注目的。 即使對于最快的傳感器，在經(jīng)順序捕獲的圖像之間也可能存在明顯的延遲。圖像之間的延 遲可以在其足夠長以至于由于捕獲圖像的時(shí)刻之間的時(shí)間差，例如由于場景內(nèi)的運(yùn)動(dòng)或相 機(jī)的運(yùn)動(dòng)(例如，在相機(jī)被實(shí)施在手持設(shè)備中的情況下)而在圖像中出現(xiàn)變化的情況下被認(rèn) 為是"明顯"的。出于許多原因，能夠證明在圖像之間存在運(yùn)動(dòng)的情況下對兩幅圖像進(jìn)行融 合是有挑戰(zhàn)的。例如，如果對象在之后被融合的兩幅圖像之間移動(dòng)，則諸如鬼影效應(yīng)的偽影 可以由于兩幅圖像中的對象的位置的差異而出現(xiàn)在HDR圖像中。場景中的由于動(dòng)態(tài)對象或 視差的運(yùn)動(dòng)能夠可以想象地被跟蹤，但是這將需要復(fù)雜的流程，其通常將需要太多時(shí)間和 處理功率以被實(shí)時(shí)實(shí)施在移動(dòng)設(shè)備上，移動(dòng)設(shè)備例如智能電話、平板電腦、智能手表或HDR 處理可以被執(zhí)行在其上并且其中處理功率可以受到限制的其他適當(dāng)?shù)囊苿?dòng)設(shè)備。其將對具 有一種在將圖像組合以形成HDR圖像時(shí)處理運(yùn)動(dòng)的方法有用，該方法足夠簡單以實(shí)時(shí)實(shí)施 在移動(dòng)設(shè)備上。

【發(fā)明內(nèi)容】

[0004] 提供本
【發(fā)明內(nèi)容】
從而以簡化的形式介紹下面在【具體實(shí)施方式】中進(jìn)一步描述的一 系列概念。本
【發(fā)明內(nèi)容】
不旨在確定要求保護(hù)的主體的關(guān)鍵特征或必要特征，也不旨在用于 限制要求保護(hù)的主體的范圍。
[0005] 提供了一種圖像處理方法，其包括:確定針對至少一幅圖像的圖像梯度指示;基于 針對至少一幅圖像的所確定的圖像梯度指示來確定針對圖像區(qū)域的濾波代價(jià);并且使用針 對圖像區(qū)域的所確定的濾波代價(jià)來處理與至少一幅圖像相關(guān)的數(shù)據(jù)，包括應(yīng)用濾波操作， 使得取決于至少一幅圖像的圖像梯度而執(zhí)行針對圖像區(qū)域的處理。
[0006] 方法還可以包括:確定類型掩碼，類型掩碼包括針對圖像區(qū)域的類型指示符以由 此將圖像區(qū)域中的每個(gè)分類成多種類型中的一種;其中，與至少一幅圖像相關(guān)的處理數(shù)據(jù) 可以包括，針對多個(gè)圖像區(qū)域中的每個(gè):使用濾波操作來確定沿著從圖像區(qū)域到根據(jù)類型 指示符的特定類型的圖像區(qū)域的路徑的最低累積代價(jià);并且取決于所確定的最低累積代價(jià) 與閾值的比較來選擇性地設(shè)置針對圖像區(qū)域的類型指示符以指示特定類型。
[0007] 至少一幅圖像可以包括多幅圖像，其中，至少一個(gè)初始融合掩碼可以指示用于在 將兩幅圖像進(jìn)行組合時(shí)使用的初始融合因子，并且其中，的處理與至少一幅圖像相關(guān)的數(shù) 據(jù)可以包括以根據(jù)針對在至少一個(gè)初始融合掩碼中的過渡處的圖像區(qū)域的濾波代價(jià)的平 滑速率使相應(yīng)過渡平滑。
[0008] 對與至少一幅圖像相關(guān)的數(shù)據(jù)的處理包括使用濾波操作來對至少一幅圖像應(yīng)用 去噪，使得被應(yīng)用到圖像區(qū)域的去噪的范圍取決于針對圖像區(qū)域的濾波代價(jià)。
[0009] 至少一幅圖像可以包括利用不同聚焦捕獲的多幅圖像。
[0010]處理與至少一幅圖像相關(guān)的數(shù)據(jù)包括使用濾波操作來對至少一幅圖像應(yīng)用去噪， 使得被應(yīng)用到圖像區(qū)域的去噪的范圍取決于針對圖像區(qū)域的濾波代價(jià)。
[0011] 提供了一種圖像處理系統(tǒng)，其包括:梯度確定邏輯，其被配置為確定針對至少一幅 圖像的圖像梯度指示;濾波代價(jià)確定邏輯，其被配置為基于針對至少一幅圖像的所確定的 圖像梯度指示來確定針對圖像區(qū)域的濾波代價(jià)；以及處理邏輯，其被配置為使用針對圖像 區(qū)域的所確定的濾波代價(jià)來處理與至少一幅圖像相關(guān)的數(shù)據(jù)，處理邏輯包括濾波邏輯，濾 波邏輯被配置為應(yīng)用濾波操作，使得處理邏輯被配置為取決于至少一幅圖像的圖像梯度來 執(zhí)行針對圖像區(qū)域的處理。
[0012] 可以提供一種計(jì)算機(jī)可讀代碼，當(dāng)代碼運(yùn)行在計(jì)算機(jī)上時(shí)計(jì)算機(jī)可讀代碼適于執(zhí) 行本文中描述的方法中的任何的步驟。另外，計(jì)算機(jī)可讀代碼可以被提供用于生成根據(jù)本 文中描述的示例中的任何的圖像處理系統(tǒng)。計(jì)算機(jī)可讀代碼可以被編碼在計(jì)算機(jī)可讀存儲 介質(zhì)上。
[0013] 本領(lǐng)域技術(shù)人員容易理解，以上特征可以在適當(dāng)?shù)那闆r下被組合，并且可以與本 文中描述的示例的方面中的任何進(jìn)行組合。
【附圖說明】
[0014] 現(xiàn)在將參考附圖詳細(xì)描述示例，在附圖中：
[0015]圖1是用于處理圖像的系統(tǒng)的尚級圖；
[0016]圖2是HDR處理單元的功能框圖；
[0017]圖3是用于在圖像上執(zhí)行HDR處理的方法的流程圖；
[0018] 圖4是示出了濾波步驟的詳細(xì)視圖的流程圖；
[0019] 圖5表示針對圖像區(qū)域的類型掩碼；
[0020] 圖6示出了利用連通性濾波器處理類型掩碼的第一示例；
[0021 ]圖7示出了利用連通性濾波器處理類型掩碼的第二示例；
[0022]圖8圖示了使融合掩碼平滑的過程；以及
[0023]圖9是HDR處理單元被實(shí)施在其中的計(jì)算機(jī)系統(tǒng)的示意圖。
[0024]附圖圖示了各種示例。技術(shù)人員將認(rèn)識到附圖中的圖示的元件邊界(例如，框、框 的組或者其他形狀)表示邊界的一個(gè)示例。可能的是，在一些示例中，一個(gè)元件可以被設(shè)計(jì) 為多個(gè)元件或者多個(gè)元件可以被設(shè)計(jì)為一個(gè)元件。在合適的情況下，在整個(gè)附圖中使用共 同的附圖標(biāo)記來指示相似的特征。
【具體實(shí)施方式】
[0025]以上提到了在將圖像組合以形成HDR圖像時(shí)處理運(yùn)動(dòng)的問題。如以上所提到的，如 果被用于形成HDR圖像的圖像之間的過渡是尖銳的，則它們可能在HDR圖像中是引人注目 的，這可能是在感知上不利的。為了解決這個(gè)問題，可以使過渡在一系列像素上平滑使得過 渡不是如此尖銳的。本發(fā)明人已經(jīng)認(rèn)識到為了避免創(chuàng)建經(jīng)組合的圖像中的可見（即，引人注 目的）縫，源圖像之間的過渡優(yōu)選大致與局部圖像紋理一樣平滑。即，過渡出現(xiàn)的速率優(yōu)選 與過渡出現(xiàn)在其上的圖像區(qū)域的圖像梯度相關(guān)。例如，在諸如示出天空或諸如墻壁的經(jīng)粉 刷的表面的圖像區(qū)域的平滑圖像區(qū)域（即，具有小圖像梯度的圖像區(qū)域）中，被用于形成經(jīng) 融合的圖像的圖像之間的過渡優(yōu)選在相對大的距離上逐漸地出現(xiàn);然而在諸如示出文本或 一群人或一系列小商品的圖像區(qū)域的詳細(xì)圖像區(qū)域（即，具有大圖像梯度的圖像區(qū)域）中， 被用于形成經(jīng)融合的圖像的圖像之間的過渡可以在相對短的距離上相對快速地出現(xiàn)，而沒 有創(chuàng)建在經(jīng)融合的圖像中的這樣的引人注目的縫。如果過渡將需要以在不同類型的兩個(gè)圖 像區(qū)域之間將是引人注目的速率出現(xiàn)，則圖像區(qū)域可能是連通的使得過渡不被實(shí)施在那兩 個(gè)圖像區(qū)域之間。
[0026]因此，在本文中描述的示例中，確定針對要被組合的圖像的圖像梯度。能夠執(zhí)行濾 波操作，其基于圖像梯度使用濾波代價(jià)以便取決于針對圖像區(qū)域的圖像梯度來對與圖像的 圖像區(qū)域相關(guān)的圖像數(shù)據(jù)進(jìn)行濾波。例如，如下面更詳細(xì)地描述的，濾波操作可以被用作連 通性單元的一部分，連通性單元確定連通的圖像區(qū)域，并且/或者濾波操作可以被用作融合 單元的一部分，融合單元將兩幅或更多幅圖像融合在一起以形成經(jīng)融合的圖像。在其他示 例中，濾波操作可以被用于其他類型的濾波，其可以適當(dāng)?shù)厝Q于圖像中的圖像梯度。例 如，濾波操作能夠被用于對圖像應(yīng)用去噪，使得被應(yīng)用到圖像區(qū)域的去噪的范圍取決于圖 像區(qū)域中的圖像梯度。
[0027]現(xiàn)在將通過舉例的方式在幀序列高動(dòng)態(tài)范圍圖像合成的上下文中描述實(shí)施例，幀 序列高動(dòng)態(tài)范圍圖像合成是將快速連續(xù)拍攝的具有變化的曝光時(shí)間或傳感器靈敏度（例 如，來自手持設(shè)備)一系列圖像進(jìn)行合成以便以重建場景的具有比相機(jī)能夠在一個(gè)曝光中 捕獲的更高的動(dòng)態(tài)范圍的圖像的過程。對應(yīng)的方法能夠被應(yīng)用在其他示例中，例如，用于將 具有利用不同聚焦捕獲的多幅圖像進(jìn)行組合，其中，一些圖像區(qū)域可以在一幅圖像中處于 較好的焦點(diǎn)中，而其他圖像區(qū)域可以在另一圖像中處于較好的焦點(diǎn)中，并且為了合并來自 多幅圖像的最好焦點(diǎn)中的圖像區(qū)域而不引入圖像之間的引人注目的過渡的目的，這些圖像 被融合。
[0028]圖1是用于處理圖像的系統(tǒng)的高級圖，其中，HDR處理被應(yīng)用到圖像。系統(tǒng)包括傳感 器陣列102、圖像處理塊104、HDR處理單元106和存儲器108。系統(tǒng)可以例如被實(shí)施在如下設(shè) 備內(nèi)，諸如相機(jī)、智能電話、平板電腦、筆記本電腦、智能手表或任何其他適當(dāng)?shù)脑O(shè)備。傳感 器陣列102包括用于捕獲原始圖像數(shù)據(jù)的多個(gè)光傳感器。原始圖像數(shù)據(jù)可以例如指示在特 定像素處的光強(qiáng)度以由此表示圖像。原始圖像數(shù)據(jù)被傳遞到圖像處理塊104,圖像處理塊 104執(zhí)行對原始圖像數(shù)據(jù)的圖像處理以由此確定圖像的像素值。由圖像處理塊104執(zhí)行的圖 像處理操作可以是標(biāo)準(zhǔn)操作，例如，白平衡、去噪、缺陷像素修復(fù)、色域映射、彩色增強(qiáng)、等 等。圖像處理塊104可以以硬件或軟件、或它們的組合來實(shí)施。例如，圖像處理塊104可以以 硬件被實(shí)施為相機(jī)流水線，其以光柵掃描順序從傳感器陣列102接收原始圖像數(shù)據(jù)(例如， 針對以逐行的順序的像素的圖像數(shù)據(jù)）。在圖像處理塊104的處理流水線中的某個(gè)時(shí)間點(diǎn) 處，針對圖像的圖像數(shù)據(jù)能夠被傳遞到HDR處理單元106 ADR處理單元106執(zhí)行HDR處理并將 HDR圖像提供回到圖像處理塊104,圖像處理塊104可以執(zhí)行對HDR圖像的進(jìn)一步處理。經(jīng)處 理的圖像能夠之后從圖像處理塊104輸出并可以被存儲在存儲器108中。經(jīng)處理的圖像可以 被用于其他目的，例如經(jīng)處理的圖像可以被傳遞到顯示器以用于顯示在其上，或者可以被 發(fā)送到另一設(shè)備，等等。在其他示例中，HDR處理單元106可以被實(shí)施為圖像處理塊104的一 部分。另外，在其他示例中，HDR處理可以是在圖像數(shù)據(jù)上執(zhí)行的最后的處理，使得從HDR處 理單元106提高的HDR圖像可以不傳遞回到圖像處理塊104并且相反可以被用作輸出，使得 其例如被提供給存儲器108或被提供給顯示器以用于顯示在其上或被提供給發(fā)送模塊以用 于發(fā)送到另一設(shè)備。
[0029] 圖2提供了 HDR處理單元106的更詳細(xì)視圖。HDR處理單元106包括圖像配準(zhǔn)邏輯 202、梯度確定邏輯204、飽和確定邏輯206、運(yùn)動(dòng)確定邏輯208、濾波代價(jià)確定邏輯210、類型 掩碼確定邏輯212和包括連通性濾波邏輯216和聯(lián)合查找邏輯218的連通性單元21LHDR處 理單元106還包括融合單元220,融合單元220包括初始融合掩碼確定邏輯222、融合濾波邏 輯224、圖像融合掩碼確定邏輯226以及圖像融合邏輯228。連通性單元214和融合單元220可 以在本文中共同地被稱為處理邏輯230 jDR處理單元106的部件(例如，圖2中示出的邏輯塊 和單元）旨在與許多功能塊相對應(yīng)。這僅僅是出于說明的目的。圖2不旨在限定芯片上的硬 件的不同部分之間或軟件中的不同程序、流程或功能之間的嚴(yán)格劃分。在一些實(shí)施例中，本 文中描述的算法中的一些或全部可以整體地或部分地以硬件來執(zhí)行。在一些實(shí)施方式中， HDR處理單元106的至少部分可以由在軟件控制下起作用的處理器（例如，圖形處理單元 (GPU)或中央處理單元(CPU)來實(shí)施。任何這樣的軟件優(yōu)選被存儲在非暫態(tài)計(jì)算機(jī)可讀介質(zhì) 上，非暫態(tài)計(jì)算機(jī)可讀介質(zhì)例如存儲器(RAM、緩存、硬盤、等等)或其他存儲裝置(USB棒、CD、 磁盤、等等）。
[0030] 參考圖3和圖4中的流程圖描述HDR處理單元106的操作。本文中描述的HDR方法以 比嘗試跟蹤運(yùn)動(dòng)簡單得多的方式來處置其中在兩幅圖像之間出現(xiàn)運(yùn)動(dòng)的情形，使得本文中 描述的方法適合用于在其中處理資源大大受到限制的諸如移動(dòng)設(shè)備的計(jì)算機(jī)系統(tǒng)上使用。 通過識別其中（例如，基于圖像之間的差異)運(yùn)動(dòng)出現(xiàn)的圖像區(qū)域并將這些圖像區(qū)域處置為 其中融合不應(yīng)當(dāng)出現(xiàn)的"不一致"區(qū)域來處置運(yùn)動(dòng)，因此在這些不一致區(qū)域中，HDR圖像僅僅 由圖像中的一幅形成。這避免由諸如鬼影效應(yīng)的運(yùn)動(dòng)引起的偽影。
[0031] 在步驟S302中，HDR處理單元106例如從圖像處理塊104接收多幅圖像。可以例如在 如圖2中示出的圖像配準(zhǔn)邏輯202處接收圖像。圖像具有不同曝光水平，使得HDR處理單元 106能夠?qū)⒕哂胁煌毓馑降膱D像組合以由此形成HDR圖像。例如，圖2示出了在HDR處理 單元106處接收到的兩幅圖像和Is)，其中，圖像U具有高曝光水平并且圖像Is具有低曝 光水平。具有高曝光水平的圖像可以在本文中被稱為"長曝光"圖像，但是高曝光水平可以 歸因于諸如長曝光時(shí)間、大光圈尺寸和/或傳感器陣列102中的傳感器的高靈敏度設(shè)置的許 多不同的因素中的一個(gè)或多個(gè)。類似地，具有低曝光水平的圖像可以在本文中被稱為"短曝 光"圖像，但是低曝光水平可以歸因于諸如短曝光時(shí)間、小光圈尺寸和/或傳感器陣列102中 的傳感器的低靈敏度設(shè)置的許多不同的因素中的一個(gè)或多個(gè)。注意，圖像被捕獲的順序是 不重要的，即長曝光圖像可以在短曝光圖像之前或之后被捕獲。在其他示例中，HDR處理單 元106可以接收多于兩幅圖像，例如可以接收許多不同圖像的組，其中，該組中的不同圖像 具有不同曝光水平。
[0032]在步驟S304中，圖像配準(zhǔn)邏輯202執(zhí)行圖像配準(zhǔn)以將圖像相對于彼此對準(zhǔn)。以這種 方式，圖像配準(zhǔn)邏輯202以幾何方式和以輻射度計(jì)量的方式將圖像相對于彼此對準(zhǔn)以促進(jìn) 后續(xù)HDR處理。圖像中的第一幅被當(dāng)作參考圖像并且之后其他圖像以幾何方式和以輻射度 計(jì)量的方式與參考圖像對準(zhǔn)。在一些示例中，長曝光圖像(II)被當(dāng)作參考圖像，而在其他示 例中短曝光圖像(Is)被當(dāng)作參考圖像，用于以幾何方式和以輻射度計(jì)量的方式將圖像對準(zhǔn) 的方法是本領(lǐng)域中已知的并且因此在本文中不再詳細(xì)進(jìn)行描述。
[0033]圖像U和圖像Is以輻射度計(jì)量方式被對準(zhǔn)，使得來自兩幅圖像的強(qiáng)度在相同的線 性尺度上。例如，可以假設(shè)圖像數(shù)據(jù)能夠以線性形式從圖像處理塊104獲得并且針對圖像已 知曝光時(shí)間和靈敏度設(shè)置。圖像能夠之后通過將它們的強(qiáng)度值乘以相對曝光因子來以輻射 度計(jì)量方式對準(zhǔn)。例如，針對第一幅圖像h(其被當(dāng)作參考圖像)和第二幅圖像1 2給定曝光時(shí) 間t和靈敏度或ISO設(shè)置i，第二幅圖像能夠根據(jù)以下等式以輻射度計(jì)量方式與參考圖像對 準(zhǔn)：
[0035]幾何對準(zhǔn)試圖處置在捕獲不同圖像的時(shí)刻之間可能出現(xiàn)的運(yùn)動(dòng)(場景中的對象的 運(yùn)動(dòng)或者相機(jī)的運(yùn)動(dòng)），但是缺陷然而可能出現(xiàn)在對準(zhǔn)過程中，使得圖像沒有被完全對準(zhǔn)。 作為示例，幾何配準(zhǔn)可以基于如下假設(shè):相機(jī)在捕獲圖像的時(shí)刻之間被保持大致靜止。相機(jī) 運(yùn)動(dòng)可以歸因于用戶未能保持相機(jī)完全靜止并且顯著地包括大約高達(dá)視場的5%的旋轉(zhuǎn)。 投影單應(yīng)性矩陣模型可以被用于描述能夠?qū)D像對準(zhǔn)的變換。作為示例，投影單應(yīng)性矩陣 可以以由粗到細(xì)的金字塔配置使用局部的基于Lucas-KanadeOJO的圖像配準(zhǔn)方法來估計(jì)。 盡管其可以有可能估計(jì)和補(bǔ)償局部場景運(yùn)動(dòng)，但是密集的運(yùn)動(dòng)補(bǔ)償是計(jì)算上開銷很大的并 且運(yùn)動(dòng)補(bǔ)償?shù)恼`差將仍然必須被掩蓋。因此這樣的運(yùn)動(dòng)補(bǔ)償沒有被實(shí)施在本文中描述的方 法中，本文中描述的方法適合于使用在具有有限的處理資源的設(shè)備(例如，移動(dòng)設(shè)備)上。作 為示例，為了減少計(jì)算代價(jià)，幾何配準(zhǔn)過程可以以完整圖像的分辨率的一半被應(yīng)用到僅僅 圖像的綠色通道。對準(zhǔn)可以以不同的尺度來應(yīng)用，例如以粗尺度開始并且之后前進(jìn)到較細(xì) 尺度，由此在粗尺度的結(jié)果被用于初始化在較細(xì)尺度的對準(zhǔn)過程。
[0036] 如以上所提到的，缺陷可能在幾何對準(zhǔn)過程中出現(xiàn)，使得可能在經(jīng)對準(zhǔn)的圖像中 存在不一致。這些不一致能夠如下面所描述的被掩蓋使得在出現(xiàn)不一致的圖像區(qū)域中，融 合過程在形成經(jīng)融合的圖像時(shí)對來自圖像中的僅僅一幅的圖像值進(jìn)行采樣。
[0037] 當(dāng)將短曝光圖像（Is)和長曝光圖像（II)進(jìn)行組合（即，融合）以形成HDR圖像（IR) 時(shí)，融合過程優(yōu)選地將來自兩幅圖像Is和II的最好的可用信息進(jìn)行組合。通常，長曝光圖像 比短曝光圖像具有較好的信噪比（SNR)，但是更有可能是飽和的。當(dāng)形成HDR圖像時(shí)，存在本 文中描述的示例中遵循的許多規(guī)則：
[0038] (i)針對飽和的圖像區(qū)域，短曝光圖像被使用（并且長曝光圖像不被使用）以形成 HDR圖像的對應(yīng)圖像區(qū)域，以由此減少不想要的飽和效應(yīng)。
[0039] (ii)為了避免鬼影效應(yīng)，包含運(yùn)動(dòng)的任何連通區(qū)域從圖像中的僅僅一幅（Is或U) 采樣。以這種方式，與相同的移動(dòng)對象相關(guān)的所有顯示從相同圖像采樣以避免不連續(xù)的運(yùn) 動(dòng)偽影。這通過將相鄰運(yùn)動(dòng)區(qū)域彼此連接并連接到飽和區(qū)域來完成。連接到飽和區(qū)域的運(yùn) 動(dòng)區(qū)域從短曝光圖像(而非長曝光圖像)采樣，而未連接到飽和區(qū)域的運(yùn)動(dòng)區(qū)域優(yōu)選從長曝 光圖像(而非短曝光圖像)采樣。下面提供對在該上下文中術(shù)語"連通"意味著什么的更詳細(xì) 描述。
[0040] (iii)如果其與以上的兩個(gè)要求兼容，則HDR圖像的圖像區(qū)域優(yōu)選使用長曝光圖像 而非短曝光圖像來形成，因?yàn)殚L曝光圖像通常具有比短曝光圖像更高的SNR。
[0041] (iv)使被用于形成HDR圖像中的圖像區(qū)域的圖像之間的過渡在一系列圖像區(qū)域上 平滑。以這種方式，過渡是漸變的。這是因?yàn)樵磮D像之間的驟然過渡可以導(dǎo)致HDR圖像中的 引人注目的縫并且將披露小的配準(zhǔn)缺陷和圖像特性的差異。因此，圖像被平滑地融合以隱 藏過渡。
[0042]將經(jīng)對準(zhǔn)的圖像從圖像配準(zhǔn)邏輯202傳遞到梯度確定邏輯204、飽和確定邏輯206、 運(yùn)動(dòng)確定邏輯208和圖像融合邏輯228。
[0043]在步驟S306中，飽和確定邏輯206確定圖像中的一幅或兩幅中的哪些圖像區(qū)域是 飽和的。長曝光圖像具有比短曝光圖像更高的曝光水平，因此考慮長曝光圖像(而非短曝光 圖像）以便確定哪些圖像區(qū)域是飽和的是足夠的。這是因?yàn)槟軌蜃龀鋈缦录僭O(shè):短曝光圖像 中的任何飽和區(qū)域也將在長曝光圖像中為飽和區(qū)域。因此，作為示例，飽和圖像區(qū)域通過確 定針對長曝光圖像(U)的每個(gè)顏色通道的強(qiáng)度值是否大于飽和閾值來檢測。具有高于飽和 閾值的任何通道的圖像區(qū)域被標(biāo)記為飽和。以這種方式，形成針對每個(gè)圖像區(qū)域指示圖像 區(qū)域是否飽和的飽和掩碼。圖像區(qū)域描述在其處圖像(Is和II)中的兩者都可以具有圖像值 的圖像位置。圖像區(qū)域可以是以與圖像(Is和II)相同的分辨率，使得每個(gè)圖像區(qū)域?qū)?yīng)于相 應(yīng)像素位置。備選地，圖像區(qū)域可以以比圖像(Is和II)的像素更粗的分辨率，使得每幅圖像 對應(yīng)于相應(yīng)組的像素位置。以這種方式，濾波操作可以以比圖像(Is和II)的像素的分辨率更 粗的分辨率被應(yīng)用到圖像區(qū)域。
[0044]在步驟中S308運(yùn)動(dòng)確定邏輯208確定其中在兩幅圖像Is與圖像IL之間存在運(yùn)動(dòng)的 圖像區(qū)域。通過計(jì)算兩幅圖像的在圖像區(qū)域的位置處的圖像值之間的誤差度量來檢測在圖 像區(qū)域處的運(yùn)動(dòng)。"誤差度量"是圖像之間的差異。注意，盡管兩幅圖像最初具有不同曝光水 平，但是在步驟S304中執(zhí)行的輻射度計(jì)量對準(zhǔn)去除了該差異使得能夠在兩幅圖像之間執(zhí)行 運(yùn)動(dòng)檢測而無需進(jìn)一步的輻射度計(jì)量配準(zhǔn)。
[0045] 從圖像去除噪聲均值。稍后將使用低通濾波器來防止將噪聲檢測為運(yùn)動(dòng)。為了使 這個(gè)有效，噪聲均值優(yōu)選為零使得局部平均(經(jīng)濾波的）噪聲為零。圖像噪聲通常不具有均 值零，或者元數(shù)據(jù)中的暗點(diǎn)可以是不正確的。傳感器噪聲均值能夠通過捕獲圖像而不使傳 感器暴露于光來測得。在一些示例中，傳感器陣列102可以提供未暴露的傳感器區(qū)域以用于 測量針對每個(gè)捕獲到的幀的暗水平和噪聲。得到的暗圖像Ib的均值大致與圖像暗水平b和 噪聲均值叫乘以傳感器靈敏度（IS0設(shè)置)i相關(guān)，如mean (Ib ) = nui+b。通過以不同的IS0設(shè)置 來捕獲暗圖像，njPb能夠使用簡單線性擬合來復(fù)原。
[0046] 在優(yōu)選示例中，根據(jù)顏色通道的視覺重要性來對顏色通道進(jìn)行加權(quán)并且以補(bǔ)償針 對每個(gè)通道的傳感器陣列102的圖像傳感器的不同靈敏度。加權(quán)矩陣w可以例如根據(jù)用于計(jì) 算來自RGB的亮度的ITU-R BT. 2020權(quán)重和通道增益{gR，gG，gB}(其中，彩色校正和白平衡已 經(jīng)被應(yīng)用，增益將為1)的逆來計(jì)算，使得：
[0048] 使用以下等式來找到亮度歸一化差異圖像D(x):
[0049] I/L(x)=ff(IL(x)-nu), (3)
[0050] I7 s(x) =kff(Is(x)-nu), (4)
[0052] 其中，Ι\(Χ)是經(jīng)噪聲調(diào)節(jié)的參考圖像，并且I'aU)是經(jīng)噪聲調(diào)節(jié)的非參考圖像。 例如，如果長曝光圖像是參考圖像，則1\&) = 1\(4和= 并且如果短曝光 圖像是參考圖像，則反之亦然。
[0053] 低通濾波器被應(yīng)用到不同圖像D(x)以減少圖像噪聲的效應(yīng)。遞歸重采樣濾波器被 用于確定差異圖像的經(jīng)濾波的版本〇￡ =以0，11)。例如，圖像可以通過對11\11個(gè)像素塊 (）進(jìn)行加和來降采樣，并且之后使用雙線性插值遞歸地以因子2進(jìn)行上采 樣，直到原始分辨率。需要的濾波的量取決于圖像的噪聲特性。誤差圖像e SS(3(X)根據(jù)經(jīng)濾波 的差異圖像Df通過例如根據(jù)以下等式在RGB通道的平方上進(jìn)行加和來計(jì)算：
[0055] 通過對平方誤差圖像和（esse(x))應(yīng)用閾值來識別運(yùn)動(dòng)區(qū)域。以這種方式，形成針 對每個(gè)圖像區(qū)域指示在圖像區(qū)域中是否存在運(yùn)動(dòng)的運(yùn)動(dòng)掩碼。
[0056] 在步驟S310中，類型掩碼確定邏輯212將飽和掩碼和運(yùn)動(dòng)掩碼組合成一個(gè)3級掩 碼，其在本文中被稱為"類型掩碼"m(x)。在本文中描述的示例中，在類型掩碼中，飽和圖像 區(qū)域具有值2,運(yùn)動(dòng)圖像區(qū)域具有值1，并且既不具有飽和也不具有運(yùn)動(dòng)的圖像區(qū)域具有值 0。因此，類型掩碼包括針對圖像區(qū)域的類型指示符以由此將圖像區(qū)域中的每個(gè)分類成多種 類型中的一種:例如，飽和、運(yùn)動(dòng)或空。飽和圖像區(qū)域常常在運(yùn)動(dòng)掩碼中被檢測為運(yùn)動(dòng)，這是 因?yàn)轱柡湍軌蛞饍煞鶊D像之間的差異，該差異高于以上描述的運(yùn)動(dòng)閾值。如果圖像區(qū)域 根據(jù)飽和掩碼和運(yùn)動(dòng)掩碼具有飽和與運(yùn)動(dòng)兩者，則類型掩碼將該圖像區(qū)域指示為飽和圖像 區(qū)域(在類型掩碼中給予其值2)。即，飽和在類型掩碼中比運(yùn)動(dòng)優(yōu)先。因此，類型掩碼指示其 中運(yùn)動(dòng)和飽和重疊的兩個(gè)值中的最大值。
[0057]圖5示出了包括（以交叉陰影線示出的）飽和區(qū)域50也的示例類型掩碼502。飽和區(qū) 域δΟΑ? (以對角陰影線示出的）運(yùn)動(dòng)區(qū)域5042包圍。飽和區(qū)域常常由最初被確定為運(yùn)動(dòng)區(qū) 域的區(qū)域包圍，因?yàn)轱柡鸵饍煞鶊D像之間的差異。圖5中的白色區(qū)域表示既不是飽和區(qū)域 也不是包括運(yùn)動(dòng)的區(qū)域的圖像區(qū)域。類型掩碼502還包括兩個(gè)更多的區(qū)域506和508。運(yùn)動(dòng)區(qū) 域508靠近飽和區(qū)域50和并且因此可以在如下面所描述的連通性濾波單元214被實(shí)施時(shí)連 通到飽和區(qū)域50也，而運(yùn)動(dòng)區(qū)域506不靠近飽和區(qū)域50和并且因此在連通性濾波單元214被 實(shí)施時(shí)可能不能連通到飽和區(qū)域504ι。
[0058]在步驟S312中，梯度確定邏輯204確定例如針對圖像IL和Is中的每幅的圖像梯度指 示g。針對圖像的圖像區(qū)域的圖像梯度指示提供圖像的圖像區(qū)域中的細(xì)節(jié)的水平的指示。針 對其確定圖像梯度指示的圖像區(qū)域可以是圖像的像素或像素塊的位置。例如，針對圖像區(qū) 域的圖像梯度指示g可以通過根據(jù)以下公式找到以來自2X2像素塊
辨率的一半計(jì)算的每幅圖像的綠色通道的歸一化梯度幅值來確定：
[0060] 針對長曝光圖像U的圖像區(qū)域X的圖像梯度指示中的全部被組合成矩陣類似 地，針對短曝光圖像IS的圖像區(qū)域X的圖像梯度指示中的全部被組合成矩陣Gs。這些矩陣被 傳遞到濾波代價(jià)確定邏輯210。
[0061] 在步驟S314中，濾波代價(jià)確定邏輯210基于針對短曝光圖像Is和長曝光圖像U的所 確定的圖像梯度指示來確定針對圖像區(qū)域的濾波代價(jià)。圖像區(qū)域的"濾波代價(jià)"是用于在對 圖像區(qū)域應(yīng)用濾波中使用的權(quán)重。即，針對圖像區(qū)域的濾波代價(jià)是圖像區(qū)域在被濾波的屬 性方面具有的效果的度量。例如，在兩個(gè)圖像區(qū)域是否是能連通的方面屬性可以是"靠近 度"。在這種情況下，圖像區(qū)域的濾波代價(jià)能夠由連通性濾波器使用以基于沿著兩個(gè)圖像區(qū) 域之間的路徑的濾波代價(jià)的和來限定兩個(gè)圖像區(qū)域的靠近度。由于圖像區(qū)域的濾波代價(jià)取 決于在圖像區(qū)域處的圖像梯度，則兩個(gè)圖像區(qū)域的靠近度取決于沿著路徑的圖像梯度。在 另一示例中，屬性可以是"平滑度"，使得限定圖像區(qū)域的平滑度的濾波代價(jià)能夠由融合濾 波器使用以確定融合掩碼跨圖像區(qū)域變化的速率。
[0062] 如下面更詳細(xì)地描述的，濾波代價(jià)被使用在濾波操作中以由此取決于圖像Is和圖 像II的圖像梯度來對與圖像Is和圖像U相關(guān)的圖像數(shù)據(jù)進(jìn)行濾波。可以通過確定來自圖像 Is和圖像U的圖像區(qū)域的最小梯度指示，之后將所確定的最小梯度指示乘以乘法因數(shù) (b gain)并且之后將偏移(bmin)增加到乘法的結(jié)果來確定針對圖像區(qū)域的濾波代價(jià)B(x)。以 這種方式，濾波代價(jià)B(x)的矩陣B根據(jù)以下等式來確定：
[0063] B = bmin+bgainmin(GL，Gs)。 （8)
[0064] bmin是設(shè)置最小代價(jià)的參數(shù)，使得B(x)甚至在完全均勻的區(qū)域中也不為零以由此 確保甚至在完全均勻的區(qū)域中柔和且穩(wěn)定的融合。例如，b min可以被設(shè)置為大約0.001，實(shí)驗(yàn) 已經(jīng)示出其為適當(dāng)?shù)闹怠Ａ硗猓琤gain是設(shè)置總體增益因子以控制相對于圖像區(qū)域中的細(xì)節(jié) 的水平在圖像區(qū)域上融合出現(xiàn)的速率的參數(shù)。在一些示例中，b gain被設(shè)置為大約0.25并且 這個(gè)在實(shí)驗(yàn)中執(zhí)行良好。在本文中描述的示例中，濾波代價(jià)處于從0到1的范圍中，即ο (χΗ 1。針對落在源圖像(其中圖像不完全重疊）中的一幅的外部的圖像區(qū)域的濾波代價(jià)被 設(shè)置為1。如將從下面的描述中變得顯而易見的，這防止在圖像的外部的周圍的融合或連通 性傳播。濾波代價(jià)可以被降采樣使得濾波代價(jià)處在比圖像區(qū)域更低的分辨率。這可以減少 在濾波代價(jià)被用于使用連通性濾波邏輯216和/或融合濾波邏輯224如此執(zhí)行濾波操作時(shí)執(zhí) 行的處理的量。另外，濾波代價(jià)確定邏輯210接收飽和圖像區(qū)域和運(yùn)動(dòng)區(qū)域的指示，并將針 對這些區(qū)域的濾波代價(jià)設(shè)置為1，以防止融合通過附近的飽和區(qū)域或運(yùn)動(dòng)區(qū)域。
[0065] 為了運(yùn)動(dòng)掩蓋以得到令人信服的結(jié)果，全部對象必須以一致的方式來對待。不是 執(zhí)行高水平對象分割(其是非常復(fù)雜的計(jì)算機(jī)視覺問題），飽和像素和運(yùn)動(dòng)像素被歸類成連 通集。由于目的在于將全部移動(dòng)對象分配給短曝光圖像(其中對象的一部分是飽和的)或分 配給長曝光圖像(其中沒有對象的一部分是飽和的），所以問題能夠被簡化為將飽和狀態(tài)填 充到連通運(yùn)動(dòng)區(qū)域中的一項(xiàng)。
[0066] 運(yùn)動(dòng)掩碼常常包含歸因于噪聲濾波步驟和巧合的圖像相似度的能夠劃分對象的 許多小洞和線。為了在類型掩碼中使這些間隙橋接，出于確定連通性單元214中的連通性的 目的，連通性單元214可以通過2的倍數(shù)來對類型掩碼進(jìn)行降采樣以減少類型掩碼的分辨 率，例如減少到大致512個(gè)像素。經(jīng)減小分辨率的類型掩碼m。(X)中的每個(gè)圖像區(qū)域?qū)?yīng)于 原始類型掩碼m(x)中的cXc圖像區(qū)域塊，
[0068]找到經(jīng)減小分辨率的掩碼的值使得：
[0070] 以這種方式，如果原始類型掩碼m(x)中的cXc圖像區(qū)域塊包含指示一個(gè)飽和圖像 區(qū)域，則經(jīng)減小分辨率的類型掩碼nh(X)中的對應(yīng)圖像區(qū)域被標(biāo)記為飽和（即，給予值2);否 貝1J，如果該塊包含至少一個(gè)運(yùn)動(dòng)圖像區(qū)域，則經(jīng)減小分辨率的類型掩碼m c(x)中的對應(yīng)圖像 區(qū)域被標(biāo)記為運(yùn)動(dòng)（即，給予值1);否則，經(jīng)減小分辨率的類型掩碼mc( X)中的對應(yīng)圖像區(qū)域 被標(biāo)記為空狀態(tài)(即，給予值0)。
[0071] 通過在對應(yīng)區(qū)上進(jìn)行加和來將濾波代價(jià)B(x)降采樣到與經(jīng)減小分辨率的類型掩 碼m。(X)相同的分辨率，使得經(jīng)減小分辨率的濾波代價(jià)B。(X)由
出。在連通性單元214的操作的以下描述中，對濾波代價(jià)B(x)的引用可以被理解為指代在其 中濾波代價(jià)的分辨率被減小的優(yōu)選示例中的經(jīng)減小分辨率的濾波代價(jià)Bc(x)。
[0072] 低分辨率的3級類型掩碼從類型掩碼確定邏輯212被傳遞到連通性單元214。另外， 濾波代價(jià)從濾波代價(jià)確定邏輯210被傳遞到連通性單元214。連通性單元214對低分辨率的 類型掩碼應(yīng)用兩個(gè)過程(在步驟S316和步驟S318中）以在連通運(yùn)動(dòng)區(qū)域上填充飽和狀態(tài)。第 一個(gè)是由連通性濾波邏輯216應(yīng)用的能夠?qū)D像區(qū)域跨平滑圖像區(qū)連通的濾波操作，并且 第二個(gè)是由聯(lián)合查找邏輯218實(shí)施的基于它們的類型指示符來將相鄰像素連通的聯(lián)合查找 填充算法。在對連通性單元214的操作的以下描述中，對類型掩碼m(x)的引用可以被理解為 指代在其中類型掩碼的分辨率被減小的優(yōu)選示例中的經(jīng)減小分辨率的類型掩碼ι(χ)，如 以上所描述的。
[0073]在步驟S316中，連通性濾波邏輯216使用針對圖像區(qū)域的所確定的濾波代價(jià)來對 類型掩碼應(yīng)用濾波操作。通過使用如以上所描述的濾波代價(jià)，連通性濾波邏輯216取決于圖 像和圖像Is的圖像梯度來對類型掩碼進(jìn)行濾波。連通性濾波邏輯216可以應(yīng)用遞歸濾波操 作，遞歸濾波操作通過找到沿著從圖像區(qū)域到感興趣圖像區(qū)域的路徑的(濾波代價(jià)的)最低 累積代價(jià)來確定針對多個(gè)圖像區(qū)域中的每個(gè)的相應(yīng)累積代價(jià)。例如，感興趣圖像區(qū)域可以 為飽和圖像區(qū)域，使得針對圖像區(qū)域的累積代價(jià)是沿著從圖像區(qū)域到飽和區(qū)域的路徑的濾 波代價(jià)的最低累積代價(jià)。針對圖像區(qū)域的類型指示符可以取決于所確定的最低累積代價(jià)與 閾值的比較而被選擇性地設(shè)置以指示飽和類型。這還可以取決于圖像區(qū)域的類型，例如，如 果類型指示符最初被設(shè)置為運(yùn)動(dòng)類型，則類型指示符可以以這種方式被設(shè)置。例如，被發(fā)現(xiàn) 為靠近飽和區(qū)域的運(yùn)動(dòng)區(qū)域在類型掩碼中被重新分類為飽和圖像區(qū)域。在針對圖像區(qū)域確 定的累積代價(jià)少于閾值的情況下圖像區(qū)域"靠近"飽和區(qū)域。由連通性濾波邏輯216執(zhí)行的 濾波操作的目的在于使在諸如天空的平滑圖像區(qū)中不連續(xù)的圖像區(qū)域連通，針對其在使用 不同圖像以形成HDR圖像之間的過渡的距離將是引入注目的。
[0074]圖6示出了在連通性濾波操作之前的類型掩碼602和在針對具有顯著低的圖像梯 度(例如，多云的天空的圖像)的連通性濾波操作之后的類型掩碼604的示例。在圖6中，白色 圖像區(qū)域具有飽和類型指示符，有圖案的圖像區(qū)域具有運(yùn)動(dòng)類型指示符，并且黑色圖像區(qū) 域具有空類型指示符。在602中能夠看到在兩幅圖像之間檢測到運(yùn)動(dòng)，并且運(yùn)動(dòng)區(qū)域是分散 的（即，沒有完全連通），因此聯(lián)合查找流程不能夠?qū)D像中的全部運(yùn)動(dòng)圖像區(qū)域連通。然 而，因?yàn)閳D像(Is和U)具有低圖像梯度，針對這些圖像區(qū)域的濾波代價(jià)B(x)是低的，使得連 通性濾波邏輯216能夠使在多云的天空中的運(yùn)動(dòng)圖像區(qū)域之間的間隙橋接并且這些運(yùn)動(dòng)區(qū) 域中的全部被連通使得它們在經(jīng)濾波的類型掩碼604中全部被改變?yōu)轱柡皖愋停驗(yàn)樗鼈?能夠被連通到至少一個(gè)飽和區(qū)域。這是有用的，因?yàn)楸挥糜谛纬蒆DR圖像的圖像之間的過渡 將很有可能歸因于圖像區(qū)域中的一些(例如，示出多云的天空的區(qū)域）中的低圖像梯度而在 那些圖像區(qū)域中是引人注目的。
[0075]圖4示出了作為步驟S316的一部分執(zhí)行的以便對類型掩碼m(x)進(jìn)行濾波的步驟的 示例。連通性濾波邏輯216接收具有用于根據(jù)以下來指示圖像區(qū)域的類型的類型指示符的 類型掩碼：
[0077]使用濾波代價(jià)B(x)來確定針對圖像區(qū)域的累積代價(jià)。累積代價(jià)可以被稱為"距離" d(x)，但是應(yīng)當(dāng)注意這些"距離"由濾波代價(jià)進(jìn)行加權(quán)并且不必一定指示圖像區(qū)域與飽和區(qū) 域之間的實(shí)際物理距離。在概念上，距離d(x)的距離映射被遞歸地計(jì)算以將距離映射到最 近的飽和圖像區(qū)域。在步驟S402中，如果第一圖像區(qū)域是飽和的，即如果m(0) = 2,則針對第 一圖像區(qū)域的累積代價(jià)(或"距離"）d(0)被設(shè)置為值0,否則即如果m(0)矣2則針對第一圖像 區(qū)域的累積代價(jià)d(0)被設(shè)置為值1。累積代價(jià)的剩余部分通過如圖4中圖示的連通性濾波邏 輯216來確定。
[0078] 針對每個(gè)圖像區(qū)域以遞歸的方式實(shí)施圖4中示出的步驟S404到S418。即，由連通性 濾波邏輯216應(yīng)用的濾波操作是遞歸濾波操作。如下面更詳細(xì)地描述的，在本文中描述的示 例中，在向前方向上和在反向方向上執(zhí)行遞歸濾波操作。圖像區(qū)域被處理的順序可以在不 同示例中是不同的并且可以例如以對角方式跨圖像前進(jìn)。在步驟S404中，針對圖像區(qū)域X的 最低累積代價(jià)d(x)通過將區(qū)域X的濾波代價(jià)B(x)增加到先前處理過的圖像區(qū)域的最低累積 代價(jià)來確定。例如，先前處理過的圖像區(qū)域的可以是在圖像區(qū)域X正上方或圖像區(qū)域X的正 左邊的圖像區(qū)域中具有較低累積代價(jià)的任何一個(gè)。這能夠被表示為：
[0080]在步驟S406中，確定圖像區(qū)域X是否具有運(yùn)動(dòng)類型。即，確定類型指示符是否滿足m (x) = l。如果是的話，方法傳遞到步驟S408,在步驟S408中確定針對圖像區(qū)域X的累積代價(jià)d (X)是否小于閾值T。在示例中，閾值T被設(shè)置在
，但是在其他示例中，閾值可以被設(shè)置在 其他值處
。如果在步驟S408中確定d(x)<T，則方法傳遞到步驟 S410。本領(lǐng)域技術(shù)人員將理解在其他示例中，在步驟中S408測試可以是d(x)是否小于或等 于T而非d(x)是否小于T。在步驟中S410,針對圖像區(qū)域X的類型指示符被設(shè)置以指示飽和類 型。即，在本文中詳細(xì)描述的示例中，m(x)被設(shè)置為值2。方法從步驟S410前進(jìn)到步驟S412。 另外，如果確定在步驟中S406圖像區(qū)域X不具有運(yùn)動(dòng)類型，則方法從步驟S406傳遞到步驟 S412而不執(zhí)行步驟S408或S410。另外，如果確定在步驟中S408針對圖像區(qū)域X的累積代價(jià)不 小于閾值，則方法從步驟S408傳遞到步驟S412而不執(zhí)行步驟S410。
[0081 ]因此，步驟S406到步驟S410意味著如果最初為運(yùn)動(dòng)區(qū)域(其中，m(x) = l)的圖像區(qū) 域"靠近"飽和區(qū)域，則針對圖像區(qū)域的類型指示符被設(shè)置為指示飽和類型（即，m(x)被設(shè)置 為具有值2)，由此將運(yùn)動(dòng)區(qū)域連通到附近的飽和區(qū)域。"靠近度"通過確定針對圖像區(qū)域的 累積代價(jià)是否小于閾值來確定，使得靠近度考慮圖像中的圖像梯度。以這種方式，運(yùn)動(dòng)區(qū)域 可以在圖像梯度在大的物理距離上很低的情況下在該距離上被連通到飽和區(qū)域。這可以是 有益的，因?yàn)楸挥糜谛纬蒆DR圖像的圖像在兩個(gè)區(qū)域之間的過渡可以歸因于過渡區(qū)域中的 低圖像梯度而是引人注目的。相反，運(yùn)動(dòng)區(qū)域可以在圖像梯度在小的物理距離上很高的情 況下在該距離上不被連通到飽和區(qū)域。這是有益的，因?yàn)楸挥糜谛纬蒆DR圖像的圖像在兩個(gè) 區(qū)域之間的過渡可以歸因于過渡區(qū)域中的高圖像梯度而不是引人注目的。
[0082]在步驟S412中，確定圖像區(qū)域X是否具有飽和類型，即m(x) = 2是否成立。如果是的 話，方法傳遞到步驟S414,在步驟S414中，針對圖像區(qū)域X的累積代價(jià)d(x)被設(shè)置為零。方法 從步驟S414傳遞到步驟S416。另外，如果確定在步驟中S412圖像區(qū)域X不具有飽和類型，即m (X)矣2,則方法從步驟S412傳遞到步驟S416而不執(zhí)行步驟S414。
[0083]在步驟S416中確定是否還存在更多的圖像區(qū)域要考慮，并且如果是的話，方法傳 遞到步驟S418,在步驟S418中將X增一。如以上所描述的，圖像區(qū)域被處理的順序可以在不 同示例中是不同的并且X被增一的方式確定圖像區(qū)域被處理的順序。例如，圖像區(qū)域可以以 對角方式被處理，從圖像的角落開始并且以遞增地進(jìn)一步遠(yuǎn)離開始角落的對角線前進(jìn)。方 法之后傳遞回到步驟S404以針對下一圖像區(qū)域重復(fù)步驟S404到S418。如果在步驟S416中確 定不再有圖像區(qū)域要考慮，則方法傳遞到步驟S420,在步驟S420中確定方法是否應(yīng)當(dāng)針對 圖像重復(fù)，并且如果是的話，方法傳遞回到步驟S404。例如，方法可以首先在向前方向上執(zhí) 行（例如，在左上方圖像區(qū)域中開始并前進(jìn)向右下方圖像區(qū)域），并且之后方法可以以反向 方向重復(fù)(例如，在右下方圖像區(qū)域中開始并前進(jìn)向左上方圖像區(qū)域）。
[0084]步驟中的一些可以在方法以反向執(zhí)行時(shí)稍微不同。例如，在反向方向中，方法首先 考慮最終圖像區(qū)域(d(N)，其中，N是圖像區(qū)域的數(shù)目）并且之后向后朝向第一圖像區(qū)域進(jìn)行 以確定累積代價(jià)。以X的遞減順序的該第二經(jīng)過使過程對稱。當(dāng)以反向順序處理時(shí)，利用等 式12來替換在步驟S404中使用的等式11:
[0086]另外，在步驟中S418,在以反向順序處理時(shí)X被減一而非增一。如果連通性濾波邏 輯216被應(yīng)用多次，則可以收斂于穩(wěn)定的結(jié)果，然而兩次經(jīng)過(例如，一次在向前方向上并且 一次在反向方向上)傾向于足夠用于連通性濾波邏輯216所打算的處理平滑圖像區(qū)。
[0087]在其他示例中，不是以對角方式處理圖形區(qū)域，方法可以被分解成分別通過一次 使用等式11和12中的鄰域中的僅僅一個(gè)來處理X方向和y方向。在這些示例中，在圖像上的 兩倍之多的經(jīng)過被實(shí)施，但是這些方法可以對于某些實(shí)施方式是有益的。例如，GPU可以更 高效地并行地處理許多行或列，其（歸因于序列依賴性)防止同時(shí)在兩個(gè)方向上傳輸信息， 但是可以快許多倍。
[0088]當(dāng)（如在步驟S420中所確定的）方法不再要重復(fù)時(shí)，例如，在兩次經(jīng)過之后，步驟 S316則是完整的并且方法繼續(xù)到步驟S318。
[0089] 在步驟S318中，聯(lián)合查找邏輯218實(shí)施聯(lián)合查找流程以選擇性地設(shè)置類型指示符 以針對具有運(yùn)動(dòng)類型并且連通到具有飽和類型的圖像區(qū)域的圖像區(qū)域指示飽和類型。以這 種方式，聯(lián)合查找填充流程被用于考慮精心設(shè)計(jì)的結(jié)構(gòu)中的連通性。本領(lǐng)域技術(shù)人員將理 解如何實(shí)施聯(lián)合查找流程。例如，聯(lián)合查找流程可以被用于找到由8鄰域鄰接連通的圖像區(qū) 域的集合。如果連通區(qū)域包含任何飽和圖像區(qū)域，則連通區(qū)域中的所有圖像區(qū)域被標(biāo)記為 飽和。
[0090] 圖7示出了包括圖像702的示例，圖像702包括靠近精心設(shè)計(jì)的高對比度邊緣的飽 和區(qū)域，在一些區(qū)域中具有運(yùn)動(dòng)。示出了（例如，如由類型掩碼確定邏輯212在步驟S310中輸 出的)經(jīng)初始降采樣的類型掩碼704,其指示飽和區(qū)域(如白色區(qū)域），運(yùn)動(dòng)區(qū)域(如有陰影線 的區(qū)域）以及空區(qū)域(如黑色區(qū)域）。在已經(jīng)應(yīng)用了連通性濾波邏輯216之后的類型掩碼被示 出為706,并且能夠看到大量運(yùn)動(dòng)區(qū)域已經(jīng)被轉(zhuǎn)變?yōu)轱柡蛥^(qū)域，但是運(yùn)動(dòng)區(qū)域中的一些還沒 有與高圖像細(xì)節(jié)的區(qū)中的飽和區(qū)域(例如，在圖像702中的樹枝之間)連通。在已經(jīng)應(yīng)用了聯(lián) 合查找邏輯218之后的類型掩碼被示出為708,并且能夠看到來自掩碼706的連通運(yùn)動(dòng)區(qū)域 已經(jīng)被設(shè)置為飽和類型，其中僅僅剩余的兩個(gè)不連通運(yùn)動(dòng)區(qū)域?yàn)檫\(yùn)動(dòng)區(qū)域。聯(lián)合查找方法 能夠在連通性濾波邏輯216歸因于高圖像梯度而不能夠連通的情況下將高圖像細(xì)節(jié)的區(qū)中 的圖像區(qū)域(例如，在樹枝之間)連通。
[0091] 在步驟S318之后，使用經(jīng)修改的經(jīng)減小分辨率的類型掩碼ι(Χ)來更新原始分辨 率類型掩碼m(x)。為了這樣做，無論在任何地方經(jīng)減小分辨率的類型掩碼nh( X)中的掩碼值 已經(jīng)從1改變到2,該改變根據(jù)以下等式被傳播回到原始類型掩碼mjx):
[0093] 將類型掩碼從連通性單元214傳遞到融合單元220。為清楚起見，圖8a示出了表示 針對類型掩碼m(x)的圖像區(qū)域的僅僅一行的類型指示符802的值的圖形。在步驟S320中，初 始融合掩碼確定邏輯222基于來自類型掩碼m(x)的類型指示符來確定兩個(gè)初始融合掩碼n L (X)和ns(x)的初始融合因子。初始融合掩碼nL(x)是指示對應(yīng)的圖像區(qū)域是否具有類型掩碼 m(x)中的飽和類型指示符的二元掩碼。初始融合掩碼ns(x)指示對應(yīng)的圖像區(qū)域是否具有 類型掩碼m(x)中的運(yùn)動(dòng)類型指示符的二元掩碼。
[0094]圖8b將初始二元融合掩碼nL (X)的圖形示出為實(shí)線804b。初始融合掩碼nL (X)針對 具有類型掩碼m(x)中的飽和類型的圖像區(qū)域具有值0(即，nL(x)=0 if m(x) = 2)，并且針 對不具有類型掩碼m(x)中的飽和類型的圖像區(qū)域具有值1(即， nL(x) = l if m(x)矣2)。類 似地，圖8c將初始二元融合掩碼ns(x)的圖形示出為實(shí)線806 b。初始融合掩碼ns(x)針對具有 類型掩碼m(x)中的運(yùn)動(dòng)類型的圖像區(qū)域具有值0(即，ns(x)=0 if m(x) = l)，并且針對不 具有類型掩碼m(x)中的運(yùn)動(dòng)類型的圖像區(qū)域具有值1(即，ns(x) = l if m(x)矣1)。
[0095] 使用二元掩碼來合并圖像將在最終圖像中引入尖銳的邊緣。這些在諸如面部和云 彩的平滑的移動(dòng)場景區(qū)域中尤其是侵入的。具體地，融合單元220優(yōu)選地僅僅將多于一幅圖 像融合以形成在未飽和且不具有運(yùn)動(dòng)的圖像區(qū)域中的HDR圖像的像素。在飽和圖像區(qū)域中 僅僅使用短曝光圖像，而在連通運(yùn)動(dòng)區(qū)域中僅僅使用輸入圖像中的一幅，其優(yōu)選但不必一 定是長曝光圖像。兩個(gè)初始融合掩碼被用于形成圖像融合掩碼，圖像融合掩碼被用于將長 曝光圖像與短曝光圖像組合以形成HDR圖像。圖像融合掩碼優(yōu)選大致與圖像一樣平滑。即， 圖像融合掩碼應(yīng)當(dāng)具有與圖像一樣平滑的過渡。例如，在圖像包含尖銳邊緣的情況下，該邊 緣能夠被利用以隱藏圖像融合掩碼中的過渡。另外，在飽和區(qū)域和未飽和區(qū)域彼此靠近的 情況下，從一個(gè)到另一個(gè)的過渡優(yōu)選是平滑且單調(diào)的。
[0096] 掩碼ns (X)針對飽和區(qū)域并且掩碼nL (X)針對未飽和區(qū)域。每個(gè)初始融合掩碼單獨(dú) 地被濾波并且之后被組合以形成圖像融合掩碼。在其中類型掩碼為非零的圖像區(qū)域中，即 在飽和區(qū)域或運(yùn)動(dòng)區(qū)域中，濾波代價(jià)(即，融合速率)被設(shè)置為1。以這種方式，根據(jù)以下等式 來將濾波代價(jià)修改為V (X):
[0098] 在其中類型掩碼為非零的圖像區(qū)域中將融合速率設(shè)置為1防止一個(gè)掩碼中的融合 過程延伸到其他掩碼中的相鄰區(qū)域以外。
[0099] 圖像區(qū)域X的濾波代價(jià)Blx)提供圖像區(qū)域的平滑度的指示。在步驟S322中，融合 濾波邏輯224使用濾波代價(jià)Blx)對初始二元融合掩碼(ns(x)和n L(x))中的每個(gè)進(jìn)行濾波。 以這種方式，以根據(jù)針對初始融合掩碼中的過渡處的圖像區(qū)域的濾波代價(jià)的平滑速率使相 應(yīng)過渡平滑。例如，融合濾波邏輯224可以以類似于連通性濾波邏輯216的方式被配置為使 用濾波代價(jià)來實(shí)施如遞歸濾波操作的濾波操作，并且可以多次例如在向前方向上并且之后 在反向方向上執(zhí)行濾波。例如，向前濾波操作可以由融合濾波邏輯224根據(jù)以下等式在初始 融合掩碼(ηιΧχ)和ns(x)，一般被稱為n(x))中的每個(gè)上執(zhí)行（以第一個(gè)圖像區(qū)域開始，x = 〇)：
[0101]向后濾波操作能夠之后由融合濾波邏輯224根據(jù)以下等式在初始融合掩碼n(x)中 的每個(gè)上執(zhí)行（以最終圖像區(qū)域開始,X = N):
[0103] 以這種方式，圖8b中利用線804b示出的初始融合掩碼nL(x)被平滑以形成由實(shí)線 804sm示出的經(jīng)平滑的融合掩碼。類似地，圖8c中利用線806b示出的初始融合掩碼ns (X)被平 滑以形成由實(shí)線806sm示出的經(jīng)平滑的融合掩碼。由實(shí)線8〇UP806sm示出的經(jīng)平滑的融合 掩碼分別步進(jìn)到在位置X3和 X2處的值1。這是歸因于對濾波代價(jià)的修改使得V (X3) =1。向前濾波操作以坐標(biāo)的遞增順序處理圖像并且向后濾波操作以坐標(biāo)的遞減順序處理 圖像。這可以是光柵掃描順序，但是更一般地這可以是確保一個(gè)或多個(gè)相鄰輸入像素已經(jīng) 在當(dāng)前像素之前被處理過的任何順序。多個(gè)濾波器可以被實(shí)施在融合濾波邏輯224中并且 濾波器可以是分開的使得每個(gè)濾波器僅僅處理一個(gè)方向，例如水平向前和向后或垂直向前 或向后。經(jīng)過的順序?qū)Y(jié)構(gòu)具有可忽略的影響。使用分開的濾波器對于某些實(shí)施方式可能 是有益的。例如，GPU可以并行地使用分開的濾波器有效地處理許多樣本。
[0104] 在優(yōu)選示例中，針對初始融合掩碼中的每個(gè)應(yīng)用向前濾波經(jīng)過和向后濾波經(jīng)過兩 次，以確保融合能夠傳播到角落周圍。使用兩次重復(fù)可能對于掩碼完全收斂到穩(wěn)定結(jié)果是 不夠的，但是經(jīng)平滑的融合掩碼與經(jīng)完全收斂的融合掩碼之間的差異在兩次重復(fù)之后在視 覺上變得不明顯，因此這是不足夠的。
[0105] 在步驟S324中，圖像融合掩碼確定邏輯226基于經(jīng)平滑的融合掩碼nL(x)和ns(x)來 確定圖像融合掩碼的圖像融合因子α(χ)。在本文中描述的示例中，圖像融合因子處于從0到 1的范圍中，即0<α(χΗ?。用于包含在圖像融合掩碼中的圖像融合因子α( χ)基于經(jīng)平滑的 融合掩碼來確定，使得圖像融合因子α(χ)針對具有飽和類型或運(yùn)動(dòng)類型的圖像區(qū)域?yàn)榱慊?一。這意味著針對具有飽和類型或運(yùn)動(dòng)類型的圖像區(qū)域不執(zhí)行輸入圖像(U和Is)的融合。這 能夠在圖8d中看到，圖8d利用線808示出圖像融合因子a (X)。能夠看到，在飽和圖像區(qū)域中 (例如，在χΑχ2之間和在Χ7與之Χ8間），圖像融合因子α(χ)具有值零，并且在運(yùn)動(dòng)區(qū)域中（例 如，在 Χ3與Χ4之間），圖像融合因子α(χ)具有值一。在既不是飽和區(qū)域也不是運(yùn)動(dòng)區(qū)域的圖像 區(qū)域中（例如，在Χ4與Χ6之間），圖像融合因子α( χ)優(yōu)選具有值一，但是這僅僅在不引起尖銳 過渡的情況下是可能的。圖像融合因子a(x)中的過渡是平滑的，即圖像融合因子a(x)具有 有限一階導(dǎo)數(shù)。
[0106] 圖像融合因子α(χ)可以根據(jù)以下等式來確定：
[0108]根據(jù)等式15,圖像融合因子α(χ)遵循經(jīng)平滑的融合因子nL(x)，除非運(yùn)動(dòng)區(qū)域靠近 飽和區(qū)域，使得在圖像融合因子α(χ)中的過渡必須比在經(jīng)平滑的融合因子nL(x)中更快地 出現(xiàn)。例如，在 X2與X3之間的區(qū)域中，圖像融合因子α(χ)以比經(jīng)平滑的融合因子nL(x)更快的 速率從0過渡到1 (其必須步進(jìn)到在X3處的值1，以避免漸漸侵入到運(yùn)動(dòng)區(qū)域中）。在X2與X3之 間的區(qū)域中
因此圖像融合因子α(χ)獲
的值以確保α(χ)的 過渡是平滑的并且不延伸到飽和區(qū)域(在x@X2之間）中或延伸到運(yùn)動(dòng)區(qū)域(在Χ3與Χ3之間） 中。在其他區(qū)域中（例如，在XQ與X2之間并且在X3與X8之間：
因此圖像融合 因子獲取經(jīng)平滑的融合因子nL(X)的值。例如，（在X3與X4之間的）運(yùn)動(dòng)區(qū)域不靠近(在X7與X8 之間的）飽和區(qū)域，因此經(jīng)平滑的融合掩碼ns(x)能夠歸因于融合濾波邏輯224在經(jīng)平滑的 融合掩碼nL(x)開始從1(在 X6處)過渡到0(在X7處）的點(diǎn)（在X6處)之前從0(在X4處)過渡到1 (在X75處）。因此，在這些圖像區(qū)域中，圖像融合因子α( χ)能夠簡單地獲取經(jīng)平滑的融合因子 nL(x)的值。
[0109] 圖像融合掩碼α(χ)被傳遞到圖像融合邏輯228,圖像融合邏輯228還接收輸入圖像 Is和L·。圖像融合掩碼被用于將輸入圖像(Is和L·)進(jìn)行融合以形成經(jīng)融合的圖像(IR)。
[0110] 具體地，在步驟S326中，圖像融合邏輯228例如通過以因子2的插值來對圖像融合 掩碼a(x)進(jìn)行上采樣，使得其以與輸入圖像(Is和II)相同的分辨率。之后，在步驟S328中，圖 像融合邏輯228使用經(jīng)上采樣的圖像融合掩碼α(χ)的圖像融合因子來確定用于在圖像（Is 和II)的加權(quán)和中使用的權(quán)重。針對圖像Il(x)和Is(x)的權(quán)重分別是α(χ)和（1-α(χ))因此， 經(jīng)融合的圖像(IR)可以根據(jù)以下等式來確定：
[0111] Ir(x) = 〇(x)Il(x) + (l-a(x) )Is(x) 〇 (16)
[0112] 如以上所描述的，輸入圖像Is和IL可以具有不同曝光水平(其可以在不同時(shí)刻被捕 獲)并且經(jīng)融合的圖像IR可以為HDR圖像。在一些示例中，可以存在要被融合以形成HDR圖像 的多于兩幅圖像，其中，圖像迭代地以根據(jù)圖形的曝光水平的順序成對地被組合，使得從在 第一次迭代中將圖像中的兩幅進(jìn)行融合得到的經(jīng)融合的圖像（"參考圖像"）與在后一迭代 中的圖像中的另一幅進(jìn)行融合。
[0113] 例如，如果以曝光值的遞減順序來處理圖像，則頭兩幅圖像能夠被組合以形成被 分配以兩個(gè)曝光中的較短者的曝光值的參考圖像，并且之后參考圖像與圖像中的另一幅進(jìn) 行融合，等等，直到最終經(jīng)融合的HDR圖像被形成。如果以曝光值的遞增順序來處理圖像，則 參考圖像被分配以被用于形成參考圖像的兩個(gè)曝光中的較長者的曝光值。
[0114] 因此，如果多于兩幅圖像要被組合，則圖像以曝光水平的單調(diào)順序(例如，以（曝光 時(shí)間）X(靈敏度)的單調(diào)順序)被處理，使得易于確定參考圖像和新圖像中的哪幅是較長的 曝光和較短的曝光。第一幅圖像被用作初始參考圖像并限定參考坐標(biāo)空間。每幅新圖像輪 流以幾何方式和以輻射度計(jì)量方式與參考圖像對準(zhǔn)并與參考圖像融合，以產(chǎn)生經(jīng)更新的參 考圖像。新圖像與參考圖像之間的不一致通過修改alpha掩碼來掩蓋使得不一致區(qū)域僅僅 從一幅圖像來采樣。順序處理流水線可以被選擇以避免在存儲器中一次具有全部圖像的需 要。
[0115] 從HDR處理單元106輸出經(jīng)融合的HDR圖像(IR)并且可以將其提供回到圖像處理單 元104,圖像處理單元104可以執(zhí)行對圖像的進(jìn)一步處理以便確定經(jīng)處理的圖像。經(jīng)處理的 圖像可以被用于任何適當(dāng)?shù)哪康模纾伙@示在顯示器上、被發(fā)送到另一設(shè)備或被存儲在 存儲器108上等等。
[0116] 在以上描述的示例中，兩幅或更多幅圖像被組合以形成經(jīng)混合的HDR圖像以用于 在高動(dòng)態(tài)范圍圖像處理中使用。更一般地，上述方法能夠被用于將圖像進(jìn)行組合以用于任 何適當(dāng)?shù)哪康模渲校瑧?yīng)用使用指示圖像中的圖像梯度的濾波代價(jià)的濾波操作可以是有益 的。例如，根據(jù)本文中描述的示例來將具有不同聚焦的多幅圖像進(jìn)行組合。可以連續(xù)地捕獲 多幅圖像，其中，針對對每幅圖像的捕獲不同地設(shè)置焦點(diǎn)設(shè)置，但是針對圖像中的每幅，曝 光水平可以是相同的。注意，如果連續(xù)地（即，在不同時(shí)間）捕獲圖像，則可能在不同圖像之 間存在運(yùn)動(dòng)，類似于如以上關(guān)于對用于在形成HDR圖像中使用的不同圖像的捕獲所描述的。 在具有不同聚焦的多幅圖像的示例中，不同圖像區(qū)域可以在不同圖像中處于較好焦點(diǎn)中， 并且圖像能夠被組合以形成經(jīng)混合的圖像，其中，較好聚焦的圖像區(qū)域優(yōu)先從圖像中選擇。 從不同圖像獲取的圖像區(qū)域之間的過渡能夠根據(jù)取決于圖像中的圖像梯度的濾波代價(jià)來 進(jìn)行平滑。例如，類似于如以上所描述的，濾波代價(jià)可以被使用在濾波操作中，例如（i)在用 于確定從相同圖像獲取的連通圖像區(qū)域的連通性濾波操作中（注意，如以上所描述的，針對 其中存在運(yùn)動(dòng)的圖像區(qū)域，單幅圖像應(yīng)當(dāng)被用于形成經(jīng)融合的圖像以避免運(yùn)動(dòng)偽影），和/ 或（ii)在用于將兩幅或更多幅圖像融合一起以形成經(jīng)融合的圖像的融合濾波操作中，使得 被用于形成經(jīng)融合的圖像的圖像之間的過渡被平滑。
[0117] 在其他示例中，以上描述的方法的濾波原理能夠被用于除了將圖像進(jìn)行組合的目 的。例如，使用指示圖像中的圖像梯度的濾波代價(jià)的濾波操作能夠?qū)畏鶊D像進(jìn)行濾波有 用。例如，濾波操作可以被用于對圖像應(yīng)用去噪，使得被應(yīng)用到圖像區(qū)域的去噪的范圍取決 于針對圖像區(qū)域的濾波代價(jià)。這能夠是有用的，因?yàn)闉V波是引人注目的程度如何可以取決 于圖像中的圖像梯度。例如，去噪濾波可以在高度詳細(xì)的圖像區(qū)域中更明顯并且在較不詳 細(xì)的圖像區(qū)域中較不明顯，因此可以相較于具有低水平細(xì)節(jié)的圖像區(qū)域針對具有高水平細(xì) 節(jié)的圖像區(qū)域增大去噪的量。
[0118] 圖9示出了 HDR處理單元106可以被實(shí)施在其中的計(jì)算機(jī)系統(tǒng)。計(jì)算機(jī)系統(tǒng)可以包 括GPU 902、CPU 904、存儲器906和其他設(shè)備908,例如顯示器910、揚(yáng)聲器912和麥克風(fēng)914。 計(jì)算機(jī)系統(tǒng)還可以包括相機(jī)傳感器916,相機(jī)傳感器916包括傳感器陣列102和包括圖像處 理單元104的相機(jī)流水線。如以上所描述的，HDR處理單元106可以被實(shí)施在GPU 902上。計(jì)算 機(jī)系統(tǒng)的部件可以經(jīng)由通信總線920彼此通信。HDR處理單元106可以（例如，以硬件)被實(shí)施 為如圖9中示出的GPU 902的一部分。備選地，HDR處理單元106可以被實(shí)施在CPU 904上。如 果HDR處理單元106以軟件來實(shí)施，則其可以作為計(jì)算機(jī)程序代碼被存儲在存儲器906中并 且可以在計(jì)算機(jī)系統(tǒng)中的處理單元上(例如，在GPU 902或CPU 904上)被執(zhí)行。
[0119] 一般地，以上描述的功能、方法、技術(shù)或部件中的任何(例如，HDR處理單元106和其 部件)能夠被實(shí)施在使用軟件、固件、硬件(例如，固定邏輯電路)或者這些實(shí)施方式中的任 何組合的模塊中。術(shù)語"模塊"、"功能"、"部件"、"±夬"、"單元"和"邏輯"在本文中被用于總體 上表示軟件、固件、硬件或其任何組合。
[0120] 在軟件實(shí)施方式的情況下，模塊、功能、部件、塊、單元或邏輯表示當(dāng)運(yùn)行在處理器 (例如，一個(gè)或多個(gè)CPU)上時(shí)執(zhí)行指定任務(wù)的程序代碼。在一個(gè)示例中，描述的方法可以通 過被配置具有以機(jī)器可讀形式存儲在計(jì)算機(jī)可讀介質(zhì)上的軟件的計(jì)算機(jī)來執(zhí)行。計(jì)算機(jī)可 讀介質(zhì)的一個(gè)這樣的配置是信號承載介質(zhì)并且因此被配置為將指令(例如，作為載波)例如 經(jīng)由網(wǎng)絡(luò)發(fā)送到計(jì)算設(shè)備。計(jì)算機(jī)可讀介質(zhì)還可以被配置為非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)并 且因此不是信號承載介質(zhì)。計(jì)算機(jī)可讀存儲介質(zhì)的示例包括隨機(jī)存取存儲器(RAM)、只讀存 儲器(ROM)、光盤、閃速存儲器、硬盤存儲器和可以使用磁性技術(shù)、光學(xué)技術(shù)和其他技術(shù)來存 儲指令或其他數(shù)據(jù)并且能夠由機(jī)器訪問的其他存儲器設(shè)備。
[0121] 所述軟件可以以包括用于將計(jì)算機(jī)配置為執(zhí)行描述的方法的構(gòu)成部分的計(jì)算機(jī) 程序代碼的計(jì)算機(jī)程序的形式或者以包括適于在程序在計(jì)算機(jī)上運(yùn)行時(shí)執(zhí)行本文中描述 的方法中的任何的全部步驟的計(jì)算機(jī)程序代碼模塊的計(jì)算機(jī)程序的形式，并且其中所述計(jì) 算機(jī)程序可以被實(shí)現(xiàn)在計(jì)算機(jī)可讀介質(zhì)上。程序代碼能夠被存儲在一個(gè)或多個(gè)計(jì)算機(jī)可讀 介質(zhì)中。本文中描述的技術(shù)的特征是平臺無關(guān)的，意味著所述技術(shù)可以被實(shí)施在具有各種 處理器的各種計(jì)算平臺上。
[0122] 本領(lǐng)域技術(shù)人員還將意識到，所述功能、技術(shù)或方法中的全部或部分可以由專用 電路、專用集成電路、可編程邏輯陣列、現(xiàn)場可編程門陣列等等來實(shí)現(xiàn)。例如，所述模塊、功 能、部件、塊、單元或邏輯(例如，HDR處理單元106和其部件)可以包括以電路的形式的硬件。 這樣的電路可以包括在制造工藝中可用的晶體管和/或其他硬件元件。這樣的晶體管和/或 其他元件可以被用于形成實(shí)施和/或包含通過舉例的方式諸如寄存器、觸發(fā)器或鎖存器的 存儲器、諸如布爾運(yùn)算的邏輯運(yùn)算符、諸如加法器、乘法器或移位器的數(shù)學(xué)運(yùn)算符以及互連 件的電路或結(jié)構(gòu)。這樣的元件可以被提供為經(jīng)典電路或標(biāo)準(zhǔn)單元庫、宏、或者在其他級別的 抽象。這樣的元件可以被相互連接在特定布置中。所述模塊、功能、部件、塊、單元或邏輯(例 如，HDR處理單元106和其部件)可以包括為固定功能的電路和能夠被編程為執(zhí)行一個(gè)或多 個(gè)功能的電路;這樣的編程可以根據(jù)固件或軟件更新或控制機(jī)制來提供。在示例中，硬件邏 輯具有實(shí)施固定功能操作、狀態(tài)機(jī)或過程的電路。
[0123] 還意圖包含"描述"或定義實(shí)施以上描述的模塊、功能、部件、塊、單元或邏輯的硬 件的配置的軟件，例如HDL(硬件描述語言)軟件，如被用于設(shè)計(jì)集成電路或者用于將可編程 芯片配置為實(shí)現(xiàn)期望功能。即，可以提供一種計(jì)算機(jī)可讀存儲介質(zhì)，其具有編碼在其上的計(jì) 算機(jī)可讀程序代碼，該計(jì)算機(jī)可讀程序代碼用于生成被配置為執(zhí)行本文中描述的方法中的 任何的圖像處理系統(tǒng)或者用于生成包括本文中描述的任何裝置的圖像處理系統(tǒng)。即，一種 計(jì)算機(jī)系統(tǒng)可以被配置為根據(jù)電路元件的定義和用于將那些電路元件進(jìn)行組合的數(shù)據(jù)定 義規(guī)則來生成數(shù)字電路的表示，其中，非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)可以具有存儲在其上的 處理器可執(zhí)行指令，該處理器可執(zhí)行指令當(dāng)在這樣的計(jì)算機(jī)系統(tǒng)處被執(zhí)行時(shí)，使計(jì)算機(jī)系 統(tǒng)生成如本文中所描述的圖像處理系統(tǒng)。
[0124] 術(shù)語'處理器'和'計(jì)算機(jī)'在本文中用于指代具有使得其能夠運(yùn)行指令的處理能 力的任何設(shè)備或其部分或者能夠執(zhí)行所述功能或方法中的全部或部分的專用電路、或者其 任何組合。
[0125] 盡管本主題已經(jīng)以特定于結(jié)構(gòu)特征和/或方法動(dòng)作的語言進(jìn)行描述，但是要理解 權(quán)利要求中限定的主題不必一定限于以上描述的具體特征或動(dòng)作。相反，以上描述的具體 特征和動(dòng)作被公開為實(shí)施權(quán)利要求的示例形式。將理解，以上描述的益處和優(yōu)點(diǎn)可以涉及 一個(gè)示例或可以涉及若干示例。
[0126] 本領(lǐng)域技術(shù)人員容易理解，可以在不喪失尋求的效果的情況下擴(kuò)展或更改本文中 給出的任何范圍或值。本文中描述的方法步驟可以以任何適當(dāng)?shù)捻樞蚧蛘咴诤线m的情況下 同時(shí)地來執(zhí)行。在不喪失尋求的效果的情況下，以上描述的示例中的任何的方面可以與描 述的其他示例中的任何的方面進(jìn)行組合以形成另一示例。
【主權(quán)項(xiàng)】
1. 一種圖像處理方法，包括： 確定針對至少一幅圖像的圖像梯度指示； 基于針對所述至少一幅圖像的所確定的圖像梯度指示來確定針對圖像區(qū)域的濾波代 價(jià);并且 使用針對所述圖像區(qū)域的所確定的濾波代價(jià)來處理與所述至少一幅圖像相關(guān)的數(shù)據(jù)， 包括應(yīng)用濾波操作，使得取決于所述至少一幅圖像的圖像梯度而執(zhí)行針對圖像區(qū)域的所述 處理。2. 根據(jù)權(quán)利要求1所述的圖像處理方法，其中，所述濾波操作是遞歸濾波操作，所述遞 歸濾波操作通過沿著從所述圖像區(qū)域到感興趣圖像區(qū)域的路徑找到最低累積代價(jià)來確定 針對多個(gè)所述圖像區(qū)域中的每個(gè)的相應(yīng)累積代價(jià)。3. 根據(jù)權(quán)利要求2所述的圖像處理方法，其中，所述遞歸濾波操作在向前方向上和在反 向方向上被執(zhí)行。4. 根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的圖像處理方法，其中，所述至少一幅圖像包括 多幅圖像，并且其中，針對圖像區(qū)域的濾波代價(jià)通過以下來確定： 確定來自所述多幅圖像的所述圖像區(qū)域的最小梯度指示； 將所確定的最小梯度指示乘以乘法因子;并且 將偏移增加到乘法的結(jié)果。5. 根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的圖像處理方法，還包括： 確定類型掩碼，所述類型掩碼包括針對圖像區(qū)域的類型指示符以由此將所述圖像區(qū)域 中的每個(gè)分類成多種類型中的一種； 其中，與所述至少一幅圖像相關(guān)的所述處理數(shù)據(jù)包括，針對多個(gè)所述圖像區(qū)域中的每 個(gè)： 使用所述濾波操作來確定沿著從所述圖像區(qū)域到根據(jù)所述類型指示符的特定類型的 圖像區(qū)域的路徑的最低累積代價(jià);并且 取決于所確定的最低累積代價(jià)與閾值的比較來選擇性地設(shè)置針對所述圖像區(qū)域的所 述類型指示符以指示所述特定類型。6. 根據(jù)權(quán)利要求5所述的圖像處理方法，其中，所述選擇性地設(shè)置針對所述圖像區(qū)域的 所述類型指示符以指示所述特定類型還取決于所述圖像區(qū)域的所述類型指示符。7. 根據(jù)權(quán)利要求5或6所述的圖像處理方法，其中，存在三種類型：（i)飽和類型，（ii)運(yùn) 動(dòng)類型，以及（iii)空類型。8. 根據(jù)權(quán)利要求5至7中的任一項(xiàng)所述的圖像處理方法，其中，所述處理與所述至少一 幅圖像相關(guān)的數(shù)據(jù)還包括實(shí)施聯(lián)合查找流程以選擇性地設(shè)置所述類型指示符以指示針對 圖像區(qū)域的所述特定類型，所述圖像區(qū)域具有另一類型并且所述圖像區(qū)域連接到具有所述 特定類型的圖像區(qū)域。9. 根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的圖像處理方法，其中，所述至少一幅圖像包括 多幅圖像，并且其中，至少一個(gè)初始融合掩碼指示用于在將兩幅圖像進(jìn)行組合時(shí)使用的初 始融合因子， 其中，所述處理與所述至少一幅圖像相關(guān)的數(shù)據(jù)包括以根據(jù)針對在所述至少一個(gè)初始 融合掩碼中的過渡處的所述圖像區(qū)域的所述濾波代價(jià)的平滑速率使相應(yīng)過渡平滑。10. 根據(jù)權(quán)利要求9所述的圖像處理方法，其中，所述初始融合因子是二元融合因子，并 且其中，所述方法還包括基于來自針對所述圖像區(qū)域的類型掩碼的類型指示符來確定針對 所述圖像區(qū)域的所述至少一個(gè)初始融合掩碼的所述初始融合因子。11. 根據(jù)權(quán)利要求9或10所述的圖像處理方法，其中，存在兩種初始融合掩碼，其中，所 述初始融合掩碼中的第一種包括用于指示對應(yīng)的類型指示符是否為第一種類型的二元融 合因子，并且其中，所述初始融合掩碼中的第二種包括用于指示對應(yīng)的類型指示符是否為 第二種類型的二元融合因子。12. 根據(jù)權(quán)利要求9至11中的任一項(xiàng)所述的圖像處理方法，其中，圖像融合掩碼基于至 少一個(gè)經(jīng)平滑的融合掩碼，其中，所述方法還包括使用所述圖像融合掩碼來將所述多幅圖 像進(jìn)行融合以形成經(jīng)融合的圖像。13. 根據(jù)權(quán)利要求12所述的圖像處理方法，其中，所述使用所述圖像融合掩碼來將所述 多幅圖像進(jìn)行融合包括使用所述圖像融合掩碼的圖像融合因子來確定用于在對所述多幅 圖像的加權(quán)和中使用的權(quán)重。14. 根據(jù)在從屬于權(quán)利要求11時(shí)的權(quán)利要求12或13所述的圖像處理方法，還包括基于 第一經(jīng)平滑的融合掩碼和第二經(jīng)平滑的融合掩碼來確定用于包含在所述圖像融合掩碼中 的圖像融合因子，使得所述圖像融合因子針對具有所述第一種類型或所述第二種類型的圖 像區(qū)域?yàn)榱慊蛞唬沟冕槍哂兴龅谝环N類型或所述第二種類型的圖像區(qū)域不執(zhí)行對所 述多幅圖像的融合。15. 根據(jù)權(quán)利要求14所述的圖像處理方法，其中，所述圖像融合因子被確定為在所述圖 像融合掩碼中平滑地變化。16. 根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的圖像處理方法，其中，所述圖像區(qū)域是以比所 述至少一幅圖像的像素更粗糙的分辨率的，其中，所述濾波操作以所述更粗糙的分辨率來 應(yīng)用。17. 根據(jù)在從屬于權(quán)利要求12至15中的任一項(xiàng)時(shí)的權(quán)利要求16所述的圖像處理方法， 其中，所述使用所述圖像融合掩碼來將所述多幅圖像進(jìn)行融合包括對所述圖像融合掩碼進(jìn) 行上采樣并使用經(jīng)上采樣的圖像融合掩碼來將所述多幅圖像進(jìn)行融合以形成經(jīng)融合的圖 像。18. 根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的圖像處理方法，用于在高動(dòng)態(tài)范圍圖像處理 中使用，其中，所述至少一幅圖像包括多幅圖像，所述多幅圖像包括特定圖像和其他圖像， 其中，所述特定圖像具有比所述其他圖像更高的曝光水平。19. 根據(jù)權(quán)利要求18所述的圖像處理方法，其中，所述多幅圖像包括具有不同曝光水平 的多于兩幅圖像，并且其中，所述圖像以根據(jù)所述圖像的所述曝光水平的順序以成對的方 式迭代地被處理，使得從以第一迭代將所述圖像中的兩幅進(jìn)行融合得到的經(jīng)融合的圖像在 后續(xù)迭代中與所述圖像中的另一幅進(jìn)行融合。20. -種圖像處理系統(tǒng)，包括： 梯度確定邏輯，其被配置為確定針對至少一幅圖像的圖像梯度指示； 濾波代價(jià)確定邏輯，其被配置為基于針對所述至少一幅圖像的所確定的圖像梯度指示 來確定針對圖像區(qū)域的濾波代價(jià);以及 處理邏輯，其被配置為使用針對所述圖像區(qū)域的所確定的濾波代價(jià)來處理與所述至少
【文檔編號】H04N5/21GK106027851SQ201610159268
【公開日】2016年10月12日
【申請日】2016年3月18日
【發(fā)明人】R·萊克蒙德
【申請人】想象技術(shù)有限公司