專利名稱：自適應局部白平衡調節的系統與方法
技術領域：
本發明一般涉及圖像傳感器，尤其涉及圖像傳感器中的自適應局部白平衡調節的 裝置、系統和方法。
背景技術：
根據拍攝圖像時入射到景物上的光源的類別(即，何種發光體)，該圖像中的景物 的顏色看起來會不同。這是因為不同的發光體(比如白熾燈、熒光燈和日光)具有不同的 光譜能量分布。白平衡(WB)是除去不真實的偏色的處理，使得景物中看起來很白的物體在 該景物的圖像中也看起來很白。在CMOS圖像傳感器中，該問題是這樣解決的調節三原色 信道紅綠藍的增益。自動地執行白平衡而無需用戶干涉的能力被稱為自動白平衡(AWB)。最廣為使用的AWB處理是基于“灰色世界”的假設；該假設認為景物中的平均顏色 是灰色或無色的。另一種常用的假設是“白色世界”的假設，該假設認為景物中最明亮的點 是白色，這意味著景物中最明亮的點處的紅綠藍的值彼此相等。盡管這些假設通常在許多情形中是真實的，但是它們無法在對多個發光體所照明 的景物拍攝的圖像中提供合適的白平衡。例如，陽光所照明的戶外景物中具有寬陰影的圖 像就落在此類別中。當將普通的AWB方法應用于這些景物時，要么僅圖像的一部分經白平 衡處理過而其它部分具有不正確的偏色，要么在這些AWB方法試圖在不同發光體之間權衡 折衷時沒有哪個部分是經恰當校正的。
下文參照附圖描述了本發明的非限定性且非窮盡性的實施方式，其中除非另有說 明，否則在這些附圖中相同的標號表示相同的部件。圖1是包括圖像傳感器的成像系統的實施方式的示意圖。圖2是像素陣列的實施方式的視圖，示出了用于自動白平衡調節的實施方式的局 部和全局域的實施方式。圖3是示出了自動白平衡調節的處理的實施方式的流程圖。
具體實施例方式本文描述了自適應局部白平衡調節的裝置、系統和方法。在下文中，描述了大量的 特定細節，以透徹理解本發明的實施方式。然而，本領域技術人員將會認識到，在沒有這些 特定細節或者使用其它方法、部件、材料等的情況下也可以實施本發明。在其它情形中，并 未詳細示出或描述公知的結構、材料或操作，但是它們被包括在本發明的范圍中。在本說明書中，所提到的“一個實施方式”或“實施方式”意味著結合該實施方式所 描述的特定的特征、結構或特性被包括在本發明的至少一個實施方式中。由此，在本說明書 中出現的“在一個實施方式中”或“在實施方式中”這種表述并不必然指代同一實施方式。 此外，在一個或多個實施方式中，可以恰當地組合上述特定的特征、結構或特性。
圖1示出了成像系統100的實施方式。光學器件101可以包括折射、衍射或反射 光學器件或它們的組合，將光學器件101耦合到圖像傳感器102，以將圖像聚焦到圖像傳感 器的像素陣列104中的像素上。像素陣列104拍攝該圖像，裝置100的其余部分處理來自 該圖像的像素數據。圖像傳感器102包括像素陣列104以及信號讀取與處理電路110。像素陣列104 是二維的，并且包括排列在行106和列108中的多個像素。在像素陣列104拍攝圖像的操 作期間，像素陣列104中的每個像素捕獲在某一曝光周期內入射的光(即光子)并且將收 集到的光子轉換成電荷。可以讀出每個像素所產生的電荷作為模擬信號，并且該模擬信號 的特征(比如其電荷、電壓或電流)將代表上述曝光周期內入射到該像素上的光的強度。所示的像素陣列104是規則成形的，但是在其它實施方式中，該陣列可以具有與 所示不同的規則或不規則排列方式，并且可以包括更多或更少的像素、行和列。此外，在不 同的實施方式中，像素陣列104可以是彩色圖像傳感器，它包括紅綠藍像素，這些像素被設 計成在光譜的可見光部分中拍攝圖像；或者，像素陣列104可以是黑白圖像傳感器和/或一 種設計成在光譜的非可見光部分(比如紅外或紫外)拍攝圖像的圖像傳感器。圖像傳感器102包括信號讀取與處理電路110。除此之外，電路110可以包括用 于有條理地讀取來自每個像素的模擬信號并對這些信號進行濾波、校正有缺陷的像素等的 電路與邏輯。在一些實施方式中，電路110也可以執行下述的自動白平衡處理中的一些或 全部。在電路110僅執行上述自動白平衡處理的一部分的實施方式中，可以由一個或多個 其它的部件(比如信號調節器112或DSP 116)來執行該處理的其余部分。盡管圖中示出 了讀取與處理電路110是與像素陣列104分開的元件，但是在一些實施方式中，讀取與處理 電路110可以與像素陣列104集成到同一個基板上，或者可以包括嵌入到該像素陣列內的 電路與邏輯。然而，在其它實施方式中，讀取與處理電路110可以是像素陣列104外部的元 件，正如本圖所示那樣。在其它實施方式中，讀取與處理電路110可以不僅是像素陣列104 外部的元件，而且還是圖像傳感器102外部的元件。將信號調節器112耦合到圖像傳感器102，以接收并調節來自像素陣列104和讀取 與處理電路110的模擬信號。在不同的實施方式中，信號調節器112可以包括用于調節模擬 信號的各種部件。可以在信號調節器中找到的部件的示例包括濾波器、放大器、偏移電路、 自動增益控制等。在一些實施方式中，信號調節器112也可以執行下述的自動白平衡處理 中的一些或全部。在信號調節器112僅執行上述自動白平衡處理的一部分的實施方式中， 可以由一個或多個其它的部件(比如電路110或DSP 116)來執行該處理的其余部分。將 模數轉換器(ADC) 114耦合到信號調節器112，以接收來自于信號調節器112的經調節的模 擬信號(這些模擬信號對應于像素陣列104中的每個像素)，并且將這些模擬信號轉換成數 字值。將數字信號處理器(DSP) 116耦合到模數轉換器114，以接收來自ADC 114的經數 字化的像素數據，并且處理這種數字數據以產生最終的數字圖像。DSP116可以包括處理器 和內部存儲器，可以在該內部存儲器中存儲并檢索數據。在一些實施方式中，DSP 116也可 以執行下述的自動白平衡處理中的一些或全部。在DSP 116僅執行上述自動白平衡處理的 一部分的實施方式中，可以由一個或多個其它的部件(比如電路110或信號調節器112)來 執行該處理的其余部分。在DSP 116處理該圖像之后，可以將其輸出到存儲單元118(比如閃存或光學/磁學存儲單元)和顯示單元(比如LCD屏幕)之一或兩者。圖2示出了像素陣列200的實施方式，并將用于解釋自動白平衡處理的實施方式。 圖2中的每個點代表了像素陣列(比如圖1所示像素陣列104)中單獨的像素。在陣列200 中，每個單獨的像素可以用其在陣列中的坐標來標識；在所示的實施方式中，像素204是用 坐標對(x，y)來標識的，該坐標對表示該像素在該陣列中實際的χ和y坐標，陣列200中的 其它像素可以按相似的方式來標識。然而，在其它實施方式中，可以使用其它方式來標識單 獨的像素(比如行/列坐標或單獨的像素地址)。當像素陣列200拍攝彩色圖像時，每個單獨的像素通常僅捕獲一種顏色，這取決 于該像素所使用的濾色片的類型。在像素陣列200是紅綠藍(RGB)像素陣列的實施方式中， 一些像素可以是“紅色像素”，它們包括紅色濾光片并只捕獲紅色；一些像素可以是“綠色像 素”，它們包括綠色濾光片并只捕獲綠色；一些像素可以是“藍色像素”，它們包括藍色濾光 片并只捕獲藍色。這些紅綠藍像素可以按照各種圖案(比如公知的Bayer圖案)布置在像 素陣列200中。在一些實施方式中，像素陣列200也可以包括“白色像素”，它們不具有濾色 片。盡管只捕獲一種顏色，但是像素陣列200中的每個像素(x，y)將輸出紅色值R(x， y)、綠色值G(x，y)和藍色值B(x，y)。這是因為，對于特定的像素，該像素原先未捕獲的那 些顏色的值是從相鄰像素中內插而來的。例如，紅色像素(χ，y)將只捕獲來自該圖像的紅 色值R(x，y)，但仍將具有從相鄰的綠色像素中內插而來的綠色值G(x，y)以及從相鄰的藍 色像素中內插而來的藍色值B (X，y)。由此，在圖像捕獲和一些最初的處理之后，像素陣列 200中的每個像素(X，y)最終都具有一組紅綠藍值。然后，可以從像素陣列200中輸出這 組RGB數據以便進一步處理，這包括下文會進一步描述的自動白平衡(AWB)處理。自動白 平衡處理的實施方式是基于一種關于人類視覺的廣為接受的假設，即，圖像是景物中的物 體的反射率與光源的照度的乘積I(x,y) =R(x,y)L(x, y),方程⑴其中在每個點(x，y)處，R(x，y)是反射率且L(x，y)是照度。為了簡單計算R和 L，通常假設L平滑地變化而R陡然地變化。將該圖像的低通濾波視為該景物的照度，用這 種從該景物中計算出的照度進行自動白平衡調節。在自動白平衡處理的實施方式中，用各向異性濾波來計算該景物的照度L，該各向 異性濾波使用上述假設，通過對該圖像進行低通濾波從而提取L。下文顯示了這種濾波的細 節。通過使每個原始的R、G、B值乘以該像素相應的權重k，就計算出每個像素(x，y)的經 白平衡調節的紅色值R’、綠色值G’和藍色值B’，正如方程(2)所示R' (x, y) = kE(x, y)R(x, y)G' (χ, y) = kG(χ, y)G(χ, y)方程(2)B' (χ, y) = kB(x, y)B(x, y)其中，紅色權重kK、綠色權重ke和藍色權重kB是用方程(3)計算的kE = max (Rw (χ，y) Gw (χ，y) Bw (χ，y)) /Rw (χ，y)kG = max (Rw (χ，y) Gw (χ，y) Bw (χ，y)) /Gw (χ, y)方程(3)kB = max (Rw (χ，y) Gw (χ，y) Bw (χ，y)) /Bw (χ，y)在方程(3)中，通過使用局部和全局分量的組合，可以為每個像素(x，y)確定調節量RW、GW*BW。使用局部和全局分量產生了自適應各向異性雙向濾波，這種濾波是邊緣-保 存型和色度-保存型。下文進一步描述民、Gw和Bw以及局部和全局分量的確定過程。如它的名稱所指的那樣，特定像素的局部分量民義或Bw是基于局部像素(即，該 特定像素以及該特定像素附近的其它像素)而計算的。正如圖2所示，選擇包含該陣列的 像素子集的局部域ω，以圍繞著正確定其!^丄^^和禮值的那個像素。在所示的實施方式中， 像素204具有坐標(X，y)，局部域ω是由圍繞著像素204的矩形框定義的。局部域ω內 所包括的所有的像素構成了可用于計算上述局部分量的像素數據組。在其它實施方式中， 局部域ω可以更大些或更小些，可以具有與所示出的形狀不同的形狀，并且不需要以正計 算其局部分量的那個像素為中心。一旦建立了局部域ω，就可以計算上述照度，即局部分量Rw、Gw*Bw。在一個實施 方式中，方程4、5使用紅色作為示例，被用于計算該局部域內特定的像素s的局部分量
權利要求
一種裝置，包括圖像傳感器，所述圖像傳感器包括具有多個像素的像素陣列；自動白平衡(AWB)電路，被耦合到所述像素陣列以執行下列操作確定每個像素的局部白平衡分量，確定每個像素的全局白平衡分量，并且將白平衡調節應用于每個像素，所應用的白平衡調節包括局部白平衡分量和全局白平衡分量的組合。
2.如權利要求1所述的裝置，其特征在于，所述AWB電路確定由每個像素輸出的每個紅、綠和藍值的局部白平衡分量。
3.如權利要求1所述的裝置，其特征在于，所述AWB電路使用圍繞著特定像素的局部域之內的其它像素的數據來確定所述特定 像素的局部白平衡分量。
4.如權利要求1所述的裝置，其特征在于，所述AWB電路使用全局域中的像素的圖像數據來確定特定像素的全局白平衡分量，所 述全局域不同于所述局部域。
5.如權利要求4所述的裝置，其特征在于，所述全局域包括在所述像素陣列中所有的有效像素。
6.如權利要求1所述的裝置，其特征在于，所述AWB電路使用空間域高斯核函數和強度域高斯核函數來確定局部白平衡分量。
7.如權利要求1所述的裝置，其特征在于，局部白平衡分量和全局白平衡分量的組合是線性組合。
8.一種系統，包括 光學元件；圖像傳感器，被耦合到所述光學元件，所述圖像傳感器包括具有多個像素的像素陣列， 自動白平衡(AWB)電路，被耦合到所述像素陣列以執行下列操作 確定每個像素的局部白平衡分量， 確定每個像素的全局白平衡分量，并且將白平衡調節應用于每個像素，所應用的白平衡調節包括局部白平衡分量和全局白平 衡分量的組合；以及顯示單元和存儲單元之一或兩者，被耦合到所述數字信號處理器。
9.如權利要求8所述的系統，其特征在于， 所述AWB電路是在所述圖像傳感器之內的電路。
10.如權利要求8所述的系統，其特征在于，所述AWB電路是耦合到所述圖像傳感器的數字信號處理器。
11.如權利要求8所述的系統，其特征在于，所述AWB電路確定由每個像素輸出的每個紅、綠和藍值的局部白平衡分量。
12.如權利要求8所述的系統，其特征在于，所述AWB電路使用圍繞著特定像素的局部域之內的其它像素的數據來確定所述特定 像素的局部白平衡分量。
13.如權利要求8所述的系統，其特征在于，所述AWB電路使用全局域中的像素的圖像數據來確定特定像素的全局白平衡分量，所 述全局域不同于所述局部域。
14.如權利要求13所述的系統，其特征在于，所述全局域包括在所述像素陣列中所有的有效像素。
15.如權利要求8所述的系統，其特征在于，所述AWB電路使用空間域高斯核函數和強度域高斯核函數來確定局部白平衡分量。
16.如權利要求8所述的系統，其特征在于，局部白平衡分量和全局白平衡分量的組合是線性組合。
17.一種處理過程，包括接收來自像素陣列中的每個像素的圖像數據； 確定每個像素的圖像數據的局部白平衡分量， 確定每個像素的圖像數據的全局白平衡分量，以及將白平衡調節應用于每個像素的圖像數據，所應用的白平衡調節包括局部白平衡分量 和全局白平衡分量的組合。
18.如權利要求17所述的處理過程，其特征在于， 確定局部白平衡分量包括確定由每個像素輸出的每個紅、綠和藍值的局部白平衡分量。
19.如權利要求17所述的處理過程，其特征在于， 確定局部白平衡分量包括使用圍繞著特定像素的局部域之內的其它像素的數據來確定所述特定像素的局部白 平衡分量。
20.如權利要求17所述的處理過程，其特征在于， 確定全局白平衡分量包括使用全局域中的像素的圖像數據， 所述全局域不同于所述局部域。
21.如權利要求20所述的處理過程，其特征在于， 所述全局域包括在所述像素陣列中所有的有效像素。
22.如權利要求17所述的處理過程，其特征在于， 確定局部白平衡分量包括使用空間域高斯核函數和強度域高斯核函數。
23.如權利要求17所述的處理過程，其特征在于， 局部白平衡分量和全局白平衡分量的組合是線性組合。
全文摘要
本發明揭示了包括圖像傳感器的裝置的實施方式，該圖像傳感器包括具有多個像素的像素陣列以及耦合到該像素陣列的自動白平衡(AWB)電路。這種AWB電路被用于確定每個像素的局部白平衡分量，確定每個像素的全局白平衡分量，并將白平衡調節應用于每個像素，所應用的白平衡調節包括局部白平衡分量和全局白平衡分量的組合。本發明還揭示了一種處理過程的實施方式，該處理過程包括接收來自像素陣列中的每個像素的圖像數據；確定每個像素的圖像數據的局部白平衡分量；確定每個像素的圖像數據的全局白平衡分量；將白平衡調節應用于每個像素的圖像數據，所應用的白平衡調節包括局部白平衡分量和全局白平衡分量的組合。也揭示并主張了其它實施方式。
文檔編號H04N9/73GK101983510SQ200980112405
公開日2011年3月2日 申請日期2009年3月11日 優先權日2008年4月8日
發明者W·熊, 鄺江濤 申請人:美商豪威科技股份有限公司