視頻前景圖像提取方法及裝置與流程
本發(fā)明涉及圖像處理領(lǐng)域，特別是涉及一種視頻前景圖像提取方法及裝置。
背景技術(shù)：
隨著視頻應(yīng)用的發(fā)展，圖形圖像處理技術(shù)的普及，越來越多的視頻應(yīng)用中使用了圖像前景提取技術(shù)，即將前景區(qū)域從圖像中提取出來。
前景圖像提取技術(shù)的傳統(tǒng)方法主要應(yīng)用高斯混合模型，其通過配合深度攝像機等硬件設(shè)備，來避免光照對前景圖像提取的影響。但是該種方式需要引入額外的專業(yè)設(shè)備。
技術(shù)實現(xiàn)要素：
基于此，有必要針對前景圖像的提取中需要引入額外的專業(yè)設(shè)備的問題，提出一種視頻前景圖像提取方法及裝置。
一種視頻前景圖像提取方法，所述方法包括：
計算視頻的當(dāng)前幀中像素的光照不變性特征，并生成所述當(dāng)前幀的光照不變性特征圖像；
獲取所述當(dāng)前幀的光照不變性特征圖像中的像素的顏色值；
獲取位置與所述當(dāng)前幀的光照不變性特征圖像中的像素的位置相對應(yīng)的樣本；
計算所述當(dāng)前幀的光照不變性特征圖像中的像素的顏色值與所述樣本中的各個像素的顏色值的差值的絕對值；
當(dāng)所述樣本中所述差值的絕對值小于預(yù)設(shè)值的像素的個數(shù)小于閾值時，則提取與所述樣本相對應(yīng)的、所述當(dāng)前幀的光照不變性特征圖像中的像素作為前景像素。
在其中一個實施例中，所述計算所述當(dāng)前幀的光照不變性特征圖像中的像素的顏色值與所述樣本中的各個像素的顏色值的差值的絕對值的步驟，包括：
通過以下公式分別計算所述當(dāng)前幀的光照不變性特征圖像中的像素的顏色值與所述樣本中的各個像素的顏色值的差值的絕對值：
distance(p1,p2)＝|r1-r2|+|g1-g2|+|b1-b2|
其中，r1、b1和g1分別為所述樣本中的像素的第一通道顏色值、第二通道顏色值和第三通道顏色值，r2、b2和g2分別為所述當(dāng)前幀的光照不變性特征圖像中的像素的第一通道顏色值、第二通道顏色值和第三通道顏色值。
在其中一個實施例中，所述計算視頻的當(dāng)前幀中像素的光照不變性特征，并生成所述當(dāng)前幀的光照不變性特征圖像的步驟，包括：
分別獲取視頻的當(dāng)前幀中像素在第一顏色通道、第二顏色通道、第三顏色通道的局部直方圖特征；
根據(jù)所述局部直方圖特征，獲取所述當(dāng)前幀中像素分別在所述第一顏色通道、所述第二顏色通道和所述第三顏色通道的光照不變性特征；
根據(jù)所述當(dāng)前幀中像素分別在所述第一顏色通道、所述第二顏色通道和所述第三顏色通道的光照不變性特征，得到當(dāng)前幀中像素的光照不變性特征；
根據(jù)所述當(dāng)前幀中像素的光照不變性特征，并生成光照不變性特征圖像。
在其中一個實施例中，所述分別獲取視頻的當(dāng)前幀中像素在第一顏色通道、第二顏色通道、第三顏色通道的局部直方圖特征的步驟，包括：
獲取視頻的當(dāng)前幀中像素的編號；
通過以下公式分別獲取所述當(dāng)前幀中像素在第一顏色通道、第二顏色通道、第三顏色通道的局部直方圖特征：
其中，w為所述當(dāng)前幀中像素總個數(shù)，b為某一個灰度分類，取值為1，2……m，m為局部直方圖灰度分類總數(shù)，p、q為所述當(dāng)前幀中像素的編號，取值為1，2，3……w，hp(b)為所述當(dāng)前幀中的編號為p的像素對應(yīng)于局部直方圖第b個灰度分類的局部直方圖特征，iq為所述當(dāng)前幀中的編號為q的像素的灰度，q(iq,b)為iq是否屬于第b個灰度分類的量化，若iq屬于第b個灰度分類，則q(iq,b)取值為1，若iq不屬于第b個灰度分類，則q(iq,b)取值為0，α為系數(shù)，0<α<1。
在其中一個實施例中，所述分別獲取視頻的當(dāng)前幀中像素在第一顏色通道、第二顏色通道、第三顏色通道的局部直方圖特征的步驟，包括：
獲取視頻的當(dāng)前幀中像素的編號；
通過以下公式分別獲取所述當(dāng)前幀中像素在第一顏色通道、第二顏色通道、第三顏色通道的局部直方圖特征：
其中：
其中，p、q為所述當(dāng)前幀中像素的編號，取值為1，2，3……w，hp(b)為所述當(dāng)前幀中編號為p的像素對應(yīng)于局部直方圖第b個灰度分類的局部直方圖特征，ip為所述當(dāng)前幀中的編號為p的像素的灰度，q(ip,b)為ip是否屬于第b個灰度分類的量化，若ip屬于第b個灰度分類，則q(ip,b)取值為1，若ip不屬于第b個灰度分類，則q(ip,b)取值為0，α為系數(shù)，0<α<1，
在其中一個實施例中，所述根據(jù)所述局部直方圖特征，獲取所述當(dāng)前幀中像素分別在所述第一顏色通道、所述第二顏色通道和所述第三顏色值通道的光照不變性特征的步驟，包括：
通過以下公式，獲取所述當(dāng)前幀中像素分別在所述第一顏色通道、所述第二顏色通道和所述第三顏色值通道的光照不變性特征：
其中g(shù)p為所述當(dāng)前幀的編號為p的像素在其中一個顏色通道的光照不變性特征，exp為以e為底的指數(shù)函數(shù)，k為系數(shù)，k＝0.1，rp＝kip，其中ip為所述當(dāng)前幀中的編號為p的像素的灰度，max(k,rp)為取系數(shù)k與rp＝kip中的較大值，bp為所述當(dāng)前幀中的編號為p的像素所屬的灰度分類，hp(b)為所述當(dāng)前幀中的編號為p的像素對應(yīng)于局部直方圖第b個灰度分類的局部直方圖特征，b為某一個灰度分類，取值為1，2……m，其中m為局部直方圖灰度分類總數(shù)。
在其中一個實施例中，所述方法還包括：
提取預(yù)設(shè)數(shù)量的無前景的樣本幀；
分別計算所述樣本幀中的像素的光照不變性特征，并分別生成所述樣本幀的光照不變性特征圖像；
提取各個所述樣本幀的光照不變性特征圖像中的相對應(yīng)的位置處的像素作為樣本，并記錄所述樣本的位置。
在其中一個實施例中，所述裝置包括：
生成模塊，用于計算視頻的當(dāng)前幀中像素的光照不變性特征，并生成所述當(dāng)前幀的光照不變性特征圖像；
獲取模塊，用于獲取所述當(dāng)前幀的光照不變性特征圖像中的像素的顏色值；
定位模塊，用于獲取位置與所述當(dāng)前幀的光照不變性特征圖像中的像素的位置相對應(yīng)的樣本；
計算模塊，用于計算所述當(dāng)前幀的光照不變性特征圖像中的像素的顏色值與所述樣本中的各個像素的顏色值的差值的絕對值；
提取模塊，用于當(dāng)所述樣本中所述差值的絕對值小于預(yù)設(shè)值的像素的個數(shù)小于閾值時，則提取與所述樣本相對應(yīng)的、所述當(dāng)前幀的光照不變性特征圖像中的像素作為前景像素。
在其中一個實施例中，所述生成模塊包括：
特征獲取單元，用于分別獲取所述當(dāng)前幀中像素在第一顏色通道、第二顏色通道、第三顏色通道的局部直方圖特征；
特征轉(zhuǎn)換單元，用于根據(jù)所述局部直方圖特征，獲取所述當(dāng)前幀中像素分別在所述第一顏色通道、所述第二顏色通道和所述第三顏色值通道的光照不變性特征；
圖像合并單元，用于根據(jù)所述當(dāng)前幀中像素分別在所述第一顏色通道、所述第二顏色通道和所述第三顏色通道的光照不變性特征，得到當(dāng)前幀中像素的光照不變性特征；
圖像生成單元，用于根據(jù)所述當(dāng)前幀中像素的光照不變性特征，生成光照不變性特征圖像。
在其中一個實施例中，其特征在于，所述裝置還包括：
樣本采集模塊，用于提取預(yù)設(shè)數(shù)量的無前景的樣本幀；
樣本處理模塊，用于分別計算所述樣本幀中的像素的光照不變性特征，并分別生成所述樣本幀的光照不變性特征圖像；
樣本獲取模塊，用于提取各個所述樣本幀的光照不變性特征圖像中的相對應(yīng)的位置處的像素作為樣本，并記錄所述樣本的位置。
上述視頻前景圖像提取方法及裝置，通過計算視頻的當(dāng)前幀中像素的光照不變性特征，生成光照不變性特征圖像，獲取當(dāng)前幀的光照不變性特征圖像中的像素的顏色值，獲取位置與當(dāng)前幀的光照不變性特征圖像中的像素的位置相對應(yīng)的樣本后，計算當(dāng)前幀的光照不變性特征圖像中的像素的顏色值與相對應(yīng)的樣本中的各個像素的顏色值的差值的絕對值，當(dāng)樣本中差值的絕對值小于預(yù)設(shè)值的像素的個數(shù)小于閾值時，則提取與樣本相對應(yīng)的、當(dāng)前幀的光照不變性特征圖像中的像素作為前景像素，無需采用額外的專業(yè)設(shè)備等硬件的配合，僅通過普通的攝像機獲取視頻，并通過視頻的光照不變性特征圖像進(jìn)行前景提取，避免了光照對前景提取的影響。
附圖說明
圖1為一實施例中視頻前景圖像提取方法流程圖；
圖2為圖1所示實施例的關(guān)聯(lián)步驟的流程圖；
圖3為圖1所示實施例的步驟s102的流程圖；
圖4為圖3所示實施例的步驟s302的流程圖；
圖5為一實施例中四行四列的當(dāng)前幀像素的編號的示意圖；
圖6為圖3所示實施例中獲取光照不變性特征結(jié)果示意圖；
圖7為圖1所示實施例的步驟s110的示意圖；
圖8為一實施例中視頻前景圖像提取結(jié)果示意圖；
圖9為一實施例中視頻前景圖像提取裝置示意圖。
具體實施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用于解釋本發(fā)明，并不用于限定本發(fā)明。
在本文中，諸如左和右，上和下，前和后，第一和第二之類的關(guān)系術(shù)語僅僅用來區(qū)分一個實體或動作與另一個實體或動作，而不一定要求或暗示這種實體或動作之間的任何實際的這種關(guān)系或順序。術(shù)語“包括”、“包含”或任何其他變體旨在涵蓋非排他性的包含，由此使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包含這些要素，而且還包含沒有明確列出的其他要素，或者為這種過程、方法、物品或者設(shè)備所固有的要素。
請參照圖1，提供一種視頻前景圖像提取方法，該方法包括如下步驟：
s102：計算視頻的當(dāng)前幀中像素的光照不變性特征，并生成當(dāng)前幀的光照不變性特征圖像。
具體地，光照不變性特征是指當(dāng)前幀中像素的一些對光照不敏感的、不隨光照條件改變而變化的特征，如灰度特征、紋理特征和仿射不變性特征等。一般地，光照變化對當(dāng)前幀中像素的一些特征產(chǎn)生強烈的影響，如隨著光照的影響，當(dāng)前幀中像素的一些特征產(chǎn)生變化，導(dǎo)致圖像的外觀會隨著光照條件的改變發(fā)生劇烈的變化，這種變化遠(yuǎn)大于由于視頻圖像中像素之間的不同產(chǎn)生差異，當(dāng)前幀的像素中一些特征對光照變化的敏感性，會影響視頻前景圖像提取的準(zhǔn)確率，考慮當(dāng)前幀中像素的一些特征，如灰度特征、紋理特征和仿射不變性特征等對光照不敏感，利用當(dāng)前幀中像素不隨光照條件改變而變化的不變特征進(jìn)行提取，將當(dāng)前幀中像素的光照不變性特征進(jìn)行提取，并根據(jù)視頻的光照不變性特征，將提取出的特征生成光照不變性特征圖像。
s104：獲取當(dāng)前幀的光照不變性特征圖像中的像素的顏色值。
具體地，當(dāng)前幀中的每個像素在第一顏色通道、第二顏色通道和第三顏色通道中分別對應(yīng)有一個通道顏色值，第一顏色通道、第二顏色通道和第三顏色通道的通道顏色值的組合表示該像素的顏色值。需要說明的是，第一顏色通道、第二顏色通道和第三顏色通道可以分別為r(red，紅)通道、g(green，綠)通道、b(blue，藍(lán))通道，還可以分別為h(hue，色澤)通道、s(saturation，飽和度)通道和b(brightness亮度)通道。
s106：獲取位置與當(dāng)前幀的光照不變性特征圖像中的像素的位置相對應(yīng)的樣本。
具體地，當(dāng)前幀的光照不變性特征圖像中的像素的位置是指當(dāng)前幀的光照不變性特征圖像中的每個像素有固定的行列位置，行位置表示當(dāng)前幀的光照不變性特征圖像中的像素所在的行，列位置表示當(dāng)前幀的光照不變性特征圖像中的像素所在的列。根據(jù)當(dāng)前幀的光照不變性特征圖像中的每個像素所在的位置，獲取與該位置相對應(yīng)的樣本。例如，光照不變性特征圖像中的一個像素所在位置為第一行第一列，獲取在第一行第一列的位置處的樣本，該樣本中可能包含有若干個像素。
s108：計算當(dāng)前幀的光照不變性特征圖像中的像素的顏色值與樣本中的各個像素的顏色值的差值的絕對值。
具體地，通過計算當(dāng)前幀的光照不變性特征圖像中的像素在第一顏色通道、第二顏色通道和第三顏色通道與樣本中各個像素分別在第一顏色通道、第二顏色通道和第三顏色通道的差值的絕對值，進(jìn)而將對應(yīng)的每個顏色通道的差值的絕對值求和，得到當(dāng)前幀的光照不變性特征圖像中的像素的顏色值與樣本中的各個像素的顏色值的差值的絕對值。
s110：當(dāng)樣本中差值的絕對值小于預(yù)設(shè)值的像素的個數(shù)小于閾值時，則提取與樣本相對應(yīng)的、當(dāng)前幀的光照不變性特征圖像中的像素作為前景像素。
具體地，判斷當(dāng)前幀的光照不變性特征圖像中的每個像素的顏色值與樣本中的像素的顏色值的差值的絕對值小于預(yù)設(shè)值時的樣本中像素的個數(shù)，當(dāng)樣本中的像素的顏色值與光照不變性特征圖像中的像素的顏色值差值的絕對值小于預(yù)設(shè)值的像素個數(shù)小于閾值時，則認(rèn)為與樣本中像素對應(yīng)位置處的當(dāng)前幀的光照不變性特征圖像中的像素為前景像素，進(jìn)而將當(dāng)前幀的光照不變性特征圖像中與樣本中對應(yīng)位置處的像素提取出來。
需要說明的是，本實施例中，即可以對當(dāng)前幀中每個像素依次判斷是否屬于前景像素，進(jìn)而將前景像素提取出來，還可以判斷當(dāng)前幀中感興趣區(qū)域中的像素是否屬于前景像素，進(jìn)而將當(dāng)前幀中感興趣區(qū)域的前景像素提取出來。
本實施例中，通過計算視頻的當(dāng)前幀中像素的光照不變性特征，生成光照不變性特征圖像，再計算當(dāng)前幀的光照不變性特征圖像中的像素的顏色值與相對應(yīng)位置處的樣本中的像素的顏色值的差值的絕對值，當(dāng)樣本中計算所得差值的絕對值小于預(yù)設(shè)值的像素的個數(shù)小于閾值時，則提取與樣本相對應(yīng)的、當(dāng)前幀的光照不變性特征圖像中的像素作為前景像素。整體過程無需采用額外的專業(yè)設(shè)備的配合，僅用普通設(shè)備進(jìn)行視頻采集，通過視頻的光照不變性特征圖像進(jìn)行前景提取，即可避免光照對前景提取結(jié)果的影響。
在其中一個是實施例中，請參照圖2，圖2為一實施例中的關(guān)聯(lián)步驟流程圖，該關(guān)聯(lián)步驟可以是在圖1所示實施例前執(zhí)行，該關(guān)聯(lián)步驟可以包括：
s202：提取預(yù)設(shè)數(shù)量的無前景的樣本幀。
具體地，預(yù)設(shè)數(shù)量可以指預(yù)先獲取的無前景圖像的幀的數(shù)量，例如6、12、14、20、25等，將預(yù)先獲取的一定數(shù)量的無前景圖像的幀作為樣本幀。需要說明的是，預(yù)先獲取的一定數(shù)量的無前景圖像的幀可以是視頻開始時的一定數(shù)量的無前景的幀，可以是視頻的中間的一定數(shù)量的無前景的幀，可以是同樣背景預(yù)先拍攝的一定數(shù)量的無前景的幀等。
另外，本實施例中，采用的是將視頻的預(yù)設(shè)數(shù)量的無前景圖像提取出來作為樣本幀，還可以采用先將視頻的無前景圖像的某一幀提取出來，在某一幀上隨機添加一些噪聲，將該添加噪聲的某一幀作為樣本幀。
s204：分別計算樣本幀中的像素的光照不變性特征，并分別生成樣本幀的光照不變性特征圖像。
具體地，對于提取出的無前景圖像的預(yù)設(shè)數(shù)量的樣本幀，分別計算每一幀中每個像素的光照不變性特征，可以采用如下的計算方法：
首先，取無前景圖像的預(yù)設(shè)數(shù)量的樣本幀中的一幀，獲取該樣本幀中的一幀的每個像素在第一顏色通道、第二顏色通道、第三顏色通道的局部直方圖特征。具體地，獲取該樣本幀中的一幀每個像素的編號，通過以下公式分別獲取該樣本幀中的一幀像素在第一顏色通道、第二顏色通道、第三顏色通道的局部直方圖特征：
其中，w為樣本幀中的一幀像素總個數(shù)，b為某一個灰度分類，取值為1，2……m，m為局部直方圖灰度分類總數(shù)，p、q為樣本幀中的一幀像素的編號，取值為1，2，3……w，hsp(b)為樣本幀中的一幀的編號為p的像素對應(yīng)于局部直方圖第b個灰度分類的局部直方圖特征，iq為樣本幀中的一幀中的編號為q的像素的灰度，q(iq,b)為iq是否屬于第b個灰度分類的量化，若iq屬于第b個灰度分類，則q(iq,b)取值為1，若iq不屬于第b個灰度分類，則q(iq,b)取值為0，α為系數(shù)，0<α<1。
例如，獲取該樣本幀中的一幀的第一行第五列的像素的局部直方圖特征，第一行第五列的像素編號為五，則獲取該樣本幀中的一幀的第五像素的局部直方圖特征，則應(yīng)用公式(1)：
其中，w為樣本幀中的一幀的像素總個數(shù)，b為某一個灰度分類，取值為1，2……m，m為局部直方圖灰度分類總數(shù)，i1、i2……iw為樣本幀中的一幀的編號為1、2……w的像素的灰度，q(i1,b)、q(i2,b)……q(iw,b)為i1、i2……iw是否屬于第b個灰度分類的量化，若i1、i2……iw屬于第b個灰度分類，則取值為1，若i1、i2……iw不屬于第b個灰度分類，則取值為0，α為系數(shù)，0<α<1。
依次將樣本幀中的一幀中的像素的局部直方圖特征計算出來，并將預(yù)設(shè)數(shù)量的無前景圖像的其余幀的像素的局部直方圖特征逐個計算得出。
然后，根據(jù)樣本幀中的一幀的像素的局部直方圖特征，獲取該幀的每個像素分別在第一顏色通道、第二顏色通道和第三顏色通道的光照不變性特征。具體地，通過以下公式獲取該幀的每個像素分別在第一顏色通道、第二顏色通道和第三顏色通道的光照不變性特征：
其中g(shù)ps為樣本幀中的一幀的編號為p的像素在其中一個顏色通道的光照不變性特征，exp為以e為底的指數(shù)函數(shù)，k為系數(shù)，k＝0.1，rp＝kip，其中ip為樣本幀中的一幀中的編號為p的像素的灰度，max(k,rp)為取系數(shù)k與rp＝kip中的較大值，bp為樣本幀中的一幀中的編號為p的像素所屬的灰度分類，hps(b)為樣本幀中的一幀中的編號為p的像素對應(yīng)于局部直方圖第b個灰度分類的局部直方圖特征，b為某一個灰度分類，取值為1，2……m，其中m為局部直方圖灰度分類總數(shù)。
例如，獲取該樣本幀中的一幀的第一行第五列的像素的光照不變性特征，第一行第五列的像素編號為五，獲取該幀中第五像素的光照不變性特征，則應(yīng)用公式(2)
其中g(shù)5為第五像素在其中一個顏色通道的光照不變性特征，exp為以e為底的指數(shù)函數(shù)，k為系數(shù)，k＝0.1，r5＝ki5，其中i5為第五像素的灰度，max(k,r5)為取系數(shù)k與r5＝ki5中的較大值，b5為第五像素的灰度分類，h5(b)為第五像素對應(yīng)于局部直方圖第b個灰度分類的局部直方圖特征，b為某一個灰度分類，取值為1，2……m，其中m為局部直方圖灰度分類總數(shù)。
依次將該樣本幀中的一幀的每個像素的光照不變性特征計算出來，并將預(yù)設(shè)數(shù)量的無前景圖像的其余幀的像素的光照不變性特征逐個計算得出。
之后，根據(jù)預(yù)設(shè)數(shù)量的樣本幀中的像素分別在第一顏色通道、第二顏色通道和第三顏色通道的光照不變性特征，得到無前景圖像的預(yù)設(shè)數(shù)量的樣本幀中的像素的光照不變性特征。具體地，取預(yù)設(shè)數(shù)量的無前景圖像的樣本幀中的一幀，將樣本幀中的一幀的像素在第一顏色通道、第二顏色通道和第三顏色通道的光照不變性特征合并，得到樣本幀中的一幀中像素的光照不變性特征，再將預(yù)設(shè)數(shù)量的樣本幀中的其余幀的光照不變性特征合并，分別得到樣本幀的每一幀像素的光照不變性特征
最后，根據(jù)樣本幀中像素的光照不變性特征，分別生成樣本幀的光照不變性特征圖像。
s206：提取各個樣本幀的光照不變性特征圖像中的相對應(yīng)的位置處的像素作為樣本，并記錄樣本的位置。
具體地，樣本幀的光照不變性特征圖像中的相對應(yīng)的位置指樣本幀中每一幀中在相同行位置和列位置的像素，獲取樣每個樣本幀的光照不變性特征圖像中的相對應(yīng)的位置處的像素作為樣本，并且記錄樣本的位置。例如，樣本幀中的一幀的一個像素所在位置為第一行第一列，則將樣本幀中所有第一行第一列位置處的像素提取出來，依次提取樣本幀中每一行每一列的位置，將提取出相同位置處的像素作為樣本。
本實施例中，首先獲取預(yù)設(shè)數(shù)量的無前景的樣本幀，并通過計算樣本幀中的像素的光照不變性特征，分別生成樣本幀的光照不變性特征圖像，最后提取各個樣本幀的光照不變性特征圖像中的相對應(yīng)的位置處的像素作為樣本，取得樣本的操作簡單易行，不依賴現(xiàn)有的復(fù)雜模型取得樣本，同時對樣本也獲得光照不變性特征圖像，避免光照對樣本產(chǎn)生影響，導(dǎo)致提取結(jié)果不準(zhǔn)確。
在其中一個實施例中，可參照圖3，提供圖1所示實施例中的步驟s102的流程圖，該步驟s102，即計算視頻的當(dāng)前幀中像素的光照不變性特征，并生成當(dāng)前幀的光照不變性特征圖像的步驟可以包括：
s302：分別獲取視頻的當(dāng)前幀中像素在第一顏色通道、第二顏色通道、第三顏色通道的局部直方圖特征。
具體地，一般用灰度直方圖描述一幅圖像的灰度值，將一幅圖像的感興趣區(qū)域用灰度直方圖描繪出圖像的灰度值，則為局部直方圖。首先，讀取視頻中當(dāng)前幀，將視頻中的當(dāng)前幀拆分成在第一顏色通道、第二顏色通道和第三顏色通道的圖像，然后獲取視頻的當(dāng)前幀在第一顏色通道、第二顏色通道和第三顏色通道中的每一個像素的局部直方圖特征。需要說明的是，第一顏色通道、第二顏色通道和第三顏色通道可以分別為r(red，紅)通道、g(green，綠)通道、b(blue，藍(lán))通道，還可以分別為h(hue，色澤)通道、s(saturation，飽和度)通道和b(brightness亮度)通道。
s304：根據(jù)局部直方圖特征，獲取當(dāng)前幀中像素分別在第一顏色通道、第二顏色通道和第三顏色通道的光照不變性特征。
具體地，光照不變性特征是指當(dāng)前幀中像素的一些對光照不敏感、不隨光照條件改變而變化的特征，如灰度特征、紋理特征和仿射不變性特征等。一般地，光照變化對當(dāng)前幀中像素的一些特征產(chǎn)生強烈的影響，如隨著光照的影響，當(dāng)前幀中像素的一些特征產(chǎn)生變化，導(dǎo)致圖像的外觀會隨著光照條件的改變發(fā)生劇烈的變化，這種變化遠(yuǎn)大于由于視頻圖像中像素之間的不同產(chǎn)生差異，當(dāng)前幀的像素中一些特征對光照變化的敏感性，會影響視頻前景圖像提取的準(zhǔn)確率，考慮當(dāng)前幀中像素的一些特征，如灰度特征、紋理特征和仿射不變性特征等對光照不敏感，根據(jù)當(dāng)前幀中像素分別在第一顏色通道、第二顏色通道和第三顏色通道的局部直方圖特征，將當(dāng)前幀中像素的光照不變性特征進(jìn)行提取。
s306：根據(jù)當(dāng)前幀中像素分別在第一顏色通道、第二顏色通道和第三顏色通道的光照不變性特征，得到當(dāng)前幀中像素的光照不變性特征。
具體地，將當(dāng)前幀中像素在第一顏色通道、第二顏色通道和第三顏色通道的光照不變性特征合并，得到當(dāng)前幀中像素的光照不變性特征。
s308：根據(jù)當(dāng)前幀中像素的光照不變性特征，并生成光照不變性特征圖像。
具體地，根據(jù)當(dāng)前幀中像素的光照不變性特征，即可生成出光照不變性特征圖像。
需要說明的是，本實施例中，即可以對當(dāng)前幀中像素依次獲取光照不變性特征，進(jìn)而生成光照不變性特征圖像，還可以對當(dāng)前幀中感興趣區(qū)域中的像素獲取光照不變性特征，進(jìn)而生成當(dāng)前幀中感興趣區(qū)域的進(jìn)而生成光照不變性特征圖像。
本實施例中，通過獲取視頻的當(dāng)前幀中像素在分別在三個顏色通道中的局部直方圖特征；再根據(jù)局部直方圖特征，分別獲取當(dāng)前幀中像素分別在三個顏色通道中的光照不變性特征，將三個顏色通道的光照不變性特征合并，得到當(dāng)前幀中像素的光照不變性特征，最后生成光照不變性特征圖像。通過分別在三個顏色通道中的計算，計算局部直方圖特征與光照不變性特征準(zhǔn)確，且通過局部直方圖特征計算光照不變性特征，方法簡單易行，無需依賴特殊的硬件設(shè)備，結(jié)果準(zhǔn)確。
在其中一個實施例中，請參照圖4，提供圖3所示實施例中的步驟s302的流程圖，該步驟s302，即分別獲取視頻的當(dāng)前幀中像素在第一顏色通道、第二顏色通道、第三顏色通道的局部直方圖特征的步驟可以包括：
s401：獲取視頻的當(dāng)前幀中像素的編號。
具體地，可參見圖5，為一實施例中四行四列的當(dāng)前幀像素的編號的示意圖，當(dāng)前幀中像素有固定的行列位置，該固定行列位置的像素對應(yīng)有一個編號。如第一行第一列的像素，編號為一，第一行第五列的像素，編號為五，第一行第八列的像素，編號為八，依次類推，獲取視頻的當(dāng)前幀中每個像素的編號。
s402：通過以下公式分別獲取當(dāng)前幀中像素在第一顏色通道、第二顏色通道、第三顏色通道的局部直方圖特征。
其中，w為當(dāng)前幀中像素總個數(shù)，b為某一個灰度分類，取值為1，2……m，m為局部直方圖灰度分類總數(shù)，p、q為當(dāng)前幀中像素的編號，取值為1，2，3……w，hp(b)為當(dāng)前幀中的編號為p的像素對應(yīng)于局部直方圖第b個灰度分類的局部直方圖特征，iq為當(dāng)前幀中的編號為q的像素的灰度，q(iq,b)為iq是否屬于第b個灰度分類的量化，若iq屬于第b個灰度分類，則q(iq,b)取值為1，若iq不屬于第b個灰度分類，則q(iq,b)取值為0，α為系數(shù)，0<α<1。
例如，獲取該幀中第一行第四列的像素的局部直方圖特征，第一行第四列的像素編號為四，則獲取該幀中第四像素的局部直方圖特征，則應(yīng)用公式(3)
其中，w為當(dāng)前幀中像素總個數(shù)，b為某一個灰度分類，取值為1，2……m，m為局部直方圖灰度分類總數(shù)，i1、i2……iw為當(dāng)前幀中的編號為1、2……w的像素的灰度，q(i1,b)、q(i2,b)……q(iw,b)為i1、i2……iw是否屬于第b個灰度分類的量化，若i1、i2……iw屬于第b個灰度分類，則取值為1，若i1、i2……iw不屬于第b個灰度分類，則取值為0，α為系數(shù)，0<α<1。
本實施例中，直接獲取當(dāng)前幀中像素的編號，按照像素的編號計算每個像素的局部直方圖特征，計算準(zhǔn)確，且不易遺漏計算。
在其中一個實施例中，圖3所示實施例中的步驟s302還可以通過如下步驟計算，該步驟可包括如下步驟：
首先，獲取視頻的當(dāng)前幀中像素的編號。
具體地，視頻的當(dāng)前幀中像素有固定的行列位置，該固定行列位置的像素對應(yīng)有一個編號。如第一行第一列的像素，編號為一，第一行第五列的像素，編號為五，第一行第八列的像素，編號為八，依次類推，獲取視頻的當(dāng)前幀中每個像素的編號。
然后，通過以下公式分別獲取當(dāng)前幀中像素在第一顏色通道、第二顏色通道、第三顏色通道的局部直方圖特征。
其中：
其中，p、q為當(dāng)前幀中像素的編號，取值為1，2，3……w，hp(b)為當(dāng)前幀中編號為p的像素對應(yīng)于局部直方圖第b個灰度分類的局部直方圖特征，ip為當(dāng)前幀中的編號為p的像素的灰度，q(ip,b)為ip是否屬于第b個灰度分類的量化，若ip屬于第b個灰度分類，則q(ip,b)取值為1，若ip不屬于第b個灰度分類，則q(ip,b)取值為0，α為系數(shù)，0<α<1，
例如，獲取該幀中第一行第四列的像素的局部直方圖特征，第一行第四列的像素編號為四，則獲取該幀中第四像素的局部直方圖特征，應(yīng)用公式(4)。
其中
由于
則：
由于
因此，
其中，h4(b)為當(dāng)前幀中編號為四的像素對應(yīng)于局部直方圖第b個灰度分類的局部直方圖特征，i4為當(dāng)前幀中的編號為4的像素的灰度，q(i3,b)和為q(i4,b)為若i3和i4屬于第b個灰度分類，則q(i3,b)和為q(i4,b)取值為1，若i3和i4不屬于第b個灰度分類，則q(i3,b)和為q(i4,b)取值為0，α為系數(shù)，0<α<1，
本實施例中，可以采用迭代公式，直接由上一幀的局部直方圖特征，得出當(dāng)前幀的局部直方圖特征，無需用每一幀的圖像的每個像素逐個計算，對當(dāng)前幀中像素的局部直方圖特征可以加速計算，節(jié)省計算時間，計算簡單易行。
在其中一個實施例中，圖3所示實施例中步驟s304即據(jù)局部直方圖特征，獲取當(dāng)前幀中像素分別在第一顏色通道、第二顏色通道和第三顏色通道的光照不變性特征，該步驟包括如下步驟：
根據(jù)當(dāng)前幀像素的局部直方圖特征，獲取當(dāng)前幀的每個像素分別在第一顏色通道、第二顏色通道和第三顏色通道的光照不變性特征。具體地，通過以下公式獲取當(dāng)前幀的每個像素分別在第一顏色通道、第二顏色通道和第三顏色通道的光照不變性特征：
其中g(shù)p為當(dāng)前幀的編號為p的像素在其中一個顏色通道的光照不變性特征，exp為以e為底的指數(shù)函數(shù)，k為系數(shù)，k＝0.1，rp＝kip，其中ip為當(dāng)前幀中的編號為p的像素的灰度，max(k,rp)為取系數(shù)k與rp＝kip中的較大值，bp為當(dāng)前幀中的編號為p的像素所屬的灰度分類，hp(b)為當(dāng)前幀中的編號為p的像素對應(yīng)于局部直方圖第b個灰度分類的局部直方圖特征，b為某一個灰度分類，取值為1，2……m，其中m為局部直方圖灰度分類總數(shù)。
例如，獲取當(dāng)前幀中第一行第五列的像素的光照不變性特征，第一行第三列的像素編號為五，獲取該幀中第三像素的光照不變性特征，則應(yīng)用公式(7)
其中g(shù)3為第五像素在其中一個顏色通道的光照不變性特征，exp為以e為底的指數(shù)函數(shù)，k為系數(shù)，k＝0.1，r3＝ki3，其中i5為第三像素的灰度，max(k,r3)為取系數(shù)k與r3＝ki3中的較大值，b3為第三像素的灰度分類，h3(b)為第三像素對應(yīng)于局部直方圖第b個灰度分類的局部直方圖特征，b為某一個灰度分類，取值為1，2……m，其中m為局部直方圖灰度分類總數(shù)。計算結(jié)果可參見圖6，為獲取光照不變性特征結(jié)果示意圖。
需要說明的是，本實施例中，可以是利用當(dāng)前幀像素的局部直方圖特征，計算當(dāng)前幀像素的光照不變性特征，還可以是利用當(dāng)前幀感興趣區(qū)域的像素局部直方圖特征，計算當(dāng)前幀感興趣區(qū)域的像素的光照不變性特征。
本實施例中，直接利用當(dāng)前幀像素的局部直方圖特征，計算得到光照不變性特征，無需采用額外的專業(yè)設(shè)備配合，計算簡單，計算結(jié)果準(zhǔn)確，適用性強。
在其中一個實施例中，可參見圖7，提供圖1所示實施例的步驟s110的示意圖，該步驟110，即當(dāng)樣本中差值的絕對值小于預(yù)設(shè)值的像素的個數(shù)小于閾值時，則提取與樣本相對應(yīng)的、當(dāng)前幀的光照不變性特征圖像中的像素作為前景像素。
具體地，p1-p6為樣本幀中處在同一位置的像素，pt為當(dāng)前幀的光照不變性特征圖像中與樣本幀所在位置相同的像素，如取6幀樣本幀，第一樣本幀的第一行第一列位置處的像素為p1，第二樣本幀的第一行第一列位置處的像素為p2，第六樣本幀的第一行第一列位置處的像素為p6，pt表示當(dāng)前幀的光照不變性特征圖像中第一行第一列位置處的像素，sr(pt)表示預(yù)設(shè)值，分別獲取pt和p1、p2……p6在第一顏色通道、第二顏色通道和第三顏色通道中分別對應(yīng)的一個值，組成pt和p1、p2……p6的顏色值，計算pt與p1、p2……p6顏色值差值的絕對值，可以采用如下公式計算：
distance(p1,p2)＝|r1-r2|+|g1-g2|+|b1-b2|(8)
其中，r1、b1和g1分別為樣本中的像素的第一通道顏色值、第二通道顏色值和第三通道顏色值，r2、b2和g2分別為當(dāng)前幀的光照不變性特征圖像中的像素的第一通道顏色值、第二通道顏色值和第三通道顏色值。
如計算樣本中的像素p3與pt的差值的絕對值，則
distance(p3,pt)＝|r3-rt|+|g3-gt|+|b3-bt|
其中，r3、b3和g3分別為樣本中的像素p3的第一通道顏色值、第二通道顏色值和第三通道顏色值，rt、bt和gt分別為當(dāng)前幀的光照不變性特征圖像中的pt像素的第一通道顏色值、第二通道顏色值和第三通道顏色值。
當(dāng)差值的絕對值小于預(yù)設(shè)值的像素的個數(shù)小于閾值時，則提取與樣本相對應(yīng)的、當(dāng)前幀的光照不變性特征圖像中的像素作為前景像素，此處，預(yù)設(shè)值為20，閾值設(shè)定為2，例如，當(dāng)像素p2與p4像素的顏色值與當(dāng)前幀的光照不變性特征圖像中的像素pt的顏色值的差值小于預(yù)設(shè)值20時，可以看出，p2與p4落入以pt為圓心，以預(yù)設(shè)值20為半徑的圓中，則當(dāng)前幀的光照不變性特征圖像中的該點像素pt為背景像素，若樣本幀中只有一個像素或沒有像素落入以pt為圓心，以預(yù)設(shè)值20為半徑的圓中，則表示樣本幀中像素的顏色值與當(dāng)前幀的光照不變性特征圖像中像素pt的差值的絕對值小于預(yù)設(shè)值的像素的個數(shù)小于閾值，則當(dāng)前幀的光照不變性特征圖像中的該點像素pt為前景像素。依次計算當(dāng)前幀的光照不變性特征圖像中的每個像素與樣本中相對應(yīng)位置的像素的差值的絕對值，確定差值小于預(yù)設(shè)值的樣本是否小于閾值，提取出所有前景圖像像素，得到前景圖像，可以參照圖8，提供視頻前景圖像提取結(jié)果示意圖。
需要說明的是，本實施例中，采用的預(yù)設(shè)值為20，也可以采用21、22、25等，取得的樣本為6個，也可以取10、14、20、21、22、25等?？梢砸来斡嬎惝?dāng)前幀的光照不變性特征圖像中的每個像素與樣本中相對應(yīng)位置的像素的差值的絕對值，確定差值的絕對值小于預(yù)設(shè)值的樣本是否小于閾值，提取出所有前景圖像像素，得到前景圖像，也可以計算當(dāng)前幀的光照不變性特征圖像中感興趣區(qū)域的每個像素與樣本中相對應(yīng)位置的像素的差值的絕對值，確定差值的絕對值小于預(yù)設(shè)值的樣本是否小于閾值，提取出所有前景圖像像素，得到前景圖像。
本實施例中，采用計算顏色值差值的絕對值的方法，確定差值的絕對值小于預(yù)設(shè)值的樣本個數(shù)是否小于閾值判斷當(dāng)前幀的光照不變性特征圖像中的像素是否為前景點，方法簡單易行，且不需要依賴過于復(fù)雜的現(xiàn)有模型，適用性廣泛。
參見圖9，提供一視頻前景圖像提取裝置的示意圖，視頻前景圖像提取裝置900包括：
生成模塊901，用于計算視頻的當(dāng)前幀中像素的光照不變性特征，并生成當(dāng)前幀的光照不變性特征圖像。
獲取模塊902，用于獲取當(dāng)前幀的光照不變性特征圖像中的像素的顏色值。
定位模塊903，用于獲取位置與當(dāng)前幀的光照不變性特征圖像中的像素的位置相對應(yīng)的樣本。
計算模塊904，用于計算當(dāng)前幀的光照不變性特征圖像中的像素的顏色值與樣本中的各個像素的顏色值的差值的絕對值。
提取模塊905，用于當(dāng)樣本中差值的絕對值小于預(yù)設(shè)值的像素的個數(shù)小于閾值時，則提取與樣本相對應(yīng)的、當(dāng)前幀的光照不變性特征圖像中的像素作為前景像素。
在其中一個實施例中，計算模塊904還用于通過以下公式分別計算當(dāng)前幀的光照不變性特征圖像中的像素的顏色值與樣本中的各個像素的顏色值的差值的絕對值：
distance(p1,p2)＝|r1-r2|+|g1-g2|+|b1-b2|
其中，r1、b1和g1分別為樣本中的像素的第一通道顏色值、第二通道顏色值和第三通道顏色值，r2、b2和g2分別為當(dāng)前幀的光照不變性特征圖像中的像素的第一通道顏色值、第二通道顏色值和第三通道顏色值。
在其中一個實施例中，生成模塊902還包括：
特征獲取單元，用于分別獲取當(dāng)前幀中像素在第一顏色通道、第二顏色通道、第三顏色通道的局部直方圖特征。
特征轉(zhuǎn)換單元，用于根據(jù)局部直方圖特征，獲取當(dāng)前幀中像素分別在第一顏色通道、第二顏色通道和第三顏色值通道的光照不變性特征。
圖像合并單元，用于根據(jù)當(dāng)前幀中像素分別在第一顏色通道、第二顏色通道和第三顏色通道的光照不變性特征，得到當(dāng)前幀中像素的光照不變性特征。
圖像生成單元，用于根據(jù)當(dāng)前幀中像素的光照不變性特征，生成光照不變性特征圖像。
在其中一個實施例中，特征獲取單元包括：
第一編號獲取組件，用于獲取視頻的當(dāng)前幀中像素的編號。
第一特征獲取組件，用于通過以下公式分別獲取當(dāng)前幀中像素在第一顏色通道、第二顏色通道、第三顏色通道的局部直方圖特征：
其中，w為當(dāng)前幀中像素總個數(shù)，b為某一個灰度分類，取值為1，2……m，m為局部直方圖灰度分類總數(shù)，p、q為當(dāng)前幀中像素的編號，取值為1，2，3……w，hp(b)為當(dāng)前幀中的編號為p的像素對應(yīng)于局部直方圖第b個灰度分類的局部直方圖特征，iq為當(dāng)前幀中的編號為q的像素的灰度，q(iq,b)為iq是否屬于第b個灰度分類的量化，若iq屬于第b個灰度分類，則q(iq,b)取值為1，若iq不屬于第b個灰度分類，則q(iq,b)取值為0，α為系數(shù)，0<α<1。
在其中一個實施例中，特征獲取單元還可以包括：
第二編號獲取組件，用于獲取視頻的當(dāng)前幀中像素的編號。
第二特征獲取組件，用于通過以下公式分別獲取當(dāng)前幀中像素在第一顏色通道、第二顏色通道、第三顏色通道的局部直方圖特征：
其中：
其中，p、q為當(dāng)前幀中像素的編號，取值為1，2，3……w，hp(b)為當(dāng)前幀中編號為p的像素對應(yīng)于局部直方圖第b個灰度分類的局部直方圖特征，ip為當(dāng)前幀中的編號為p的像素的灰度，q(ip,b)為ip是否屬于第b個灰度分類的量化，若ip屬于第b個灰度分類，則q(ip,b)取值為1，若ip不屬于第b個灰度分類，則q(ip,b)取值為0，α為系數(shù)，0<α<1，
在其中一個實施例中，特征轉(zhuǎn)換單元還用于通過以下公式，獲取當(dāng)前幀中像素分別在第一顏色通道、第二顏色通道和第三顏色值通道的光照不變性特征：
其中g(shù)p為當(dāng)前幀的編號為p的像素在其中一個顏色通道的光照不變性特征，exp為以e為底的指數(shù)函數(shù)，k為系數(shù)，k＝0.1，rp＝kip，其中ip為當(dāng)前幀中的編號為p的像素的灰度，max(k,rp)為取系數(shù)k與rp＝kip中的較大值，bp為當(dāng)前幀中的編號為p的像素所屬的灰度分類，hp(b)為當(dāng)前幀中的編號為p的像素對應(yīng)于局部直方圖第b個灰度分類的局部直方圖特征，b為某一個灰度分類，取值為1，2……m，其中m為局部直方圖灰度分類總數(shù)。
在其中一個實施例中，視頻前景圖像提取裝置還包括：
樣本采集模塊，用于提取預(yù)設(shè)數(shù)量的無前景的樣本幀。
樣本處理模塊，用于分別計算樣本幀中的像素的光照不變性特征，并分別生成樣本幀的光照不變性特征圖像。
樣本獲取模塊，用于提取各個樣本幀的光照不變性特征圖像中的相對應(yīng)的位置處的像素作為樣本，并記錄樣本的位置。
上述關(guān)于視頻前景圖像提取裝置的具體限定可以參見上文中關(guān)于視頻前景圖像提取方法，在此不再贅述。
以上實施例的各技術(shù)特征可以進(jìn)行任意的組合，為使描述簡潔，未對上述實施例中的各個技術(shù)特征所有可能的組合都進(jìn)行描述，然而，只要這些技術(shù)特征的組合不存在矛盾，都應(yīng)當(dāng)認(rèn)為是本說明書記載的范圍。
本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例方法中的全部或部分流程，是可以通過計算機程序來指令相關(guān)的硬件來完成，所述的程序可存儲于一非易失性計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(read-onlymemory，rom)等。
以上實施例僅表達(dá)了本發(fā)明的幾種實施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對于本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
- 還沒有人留言評論。精彩留言會獲得點贊！