本發(fā)明涉及視頻分析及圖像處理，尤其涉及在視頻中將前景對象從背景中的分離。

背景技術：

視頻照相機被廣泛地用于當今的安全監(jiān)控系統(tǒng)中。照相機捕獲的視頻內(nèi)容之多，超出了人類觀察者的處理能力。因此，需要對視頻內(nèi)容的自動分析。在視頻內(nèi)容的處理中，有如下的重要步驟，即將視頻幀的內(nèi)容分離為前景對象和背景場景或背景。該處理被稱為前景背景分離。這種分離使得能夠進行進一步的分析，例如，對運動對象的跟蹤。這種進一步的分析可以起到協(xié)助作用，例如，可以協(xié)助決定是否向安保人員發(fā)送警報。

視頻是一序列的圖像。圖像也稱為幀。術語“幀”及“圖像”在整個本說明書中可互換地使用以描述圖像序列中的單個圖像。幀或圖像包括多個視覺元素。

背景模型與從視頻或圖像序列得出的背景信息相關。背景模型是通過將當前幀之前、跨越一段時間的多個幀上的場景中的像素或塊的視覺特性集合到一起來創(chuàng)建的。對于背景模型的形式?jīng)]有限制。根據(jù)一個示例，背景模型簡單地是當前幀之前的圖像幀中的一者。總之，背景模式的結構取決于視覺元素分類和前景背景分離的目的。

現(xiàn)有技術1為背景減除，這是前景背景分離的常見方法。在一個示例中，將背景模型中的像素值，與輸入幀中的相應位置處的當前像素值進行比較。如果當前像素值與背景模型中的像素值相似，則認為該像素屬于背景；否則，認為該像素屬于前景對象。圖1A例示了背景模型的示例。圖1B例示了內(nèi)部有人的當前圖像，在該當前圖像中，通過背景減除過程而對前景背景分離進行了標示。

現(xiàn)有技術1的技術難題是在具有變動的外觀的場景中，進行精確的前景背景分離。例如，在各種條件下，例如當對象出現(xiàn)在過于接近照相機處，或者在自動聚焦過程中，在視頻監(jiān)控系統(tǒng)中使用的照相機可能提供失焦(out of focus)的視頻幀。當發(fā)生失焦時，視頻幀經(jīng)常由于透鏡移位而變得模糊。圖像的紋理將是模糊不清的。在這種情況下，現(xiàn)有技術1往往失敗，并且通過現(xiàn)有技術1，若干背景塊將被不正確地分離為前景塊。圖2示出了由于失焦而導致的模糊的輸入圖像的現(xiàn)有技術1的分離結果，在該分離結果中，許多背景塊被不正確地分離為前景塊。如果不能正確地進行對這種失焦視頻幀的前景背景分離，則在此基礎上，可能錯誤地導致進一步的內(nèi)容分析，并且視頻監(jiān)控系統(tǒng)的其他操作可能受到影響。

也存在一些計算圖像模糊度的方法。現(xiàn)有技術2(即美國專利公開US2014/0015984)公開了一種用于在視頻分析系統(tǒng)中確定圖像模糊度值的技術。該技術首先對視頻幀進行多級哈爾(Haar)小波變換。然后，根據(jù)一些預定的結構，在各金字塔分解級中，確定清晰邊緣區(qū)域和候選模糊邊緣區(qū)域。接下來，從候選模糊邊緣區(qū)域中確定實際模糊邊緣區(qū)域。最后，基于清晰邊緣區(qū)域及模糊邊緣區(qū)域來確定模糊度值。

為了確定清晰邊緣區(qū)域和模糊邊緣區(qū)域，現(xiàn)有技術2需要對視頻幀進行多級哈爾小波變換和許多模板匹配，而這是耗時的。很難在實時前景背景分離系統(tǒng)中應用。

此外，根據(jù)一些預定的結構來確定清晰區(qū)域或模糊區(qū)域，可能受到噪聲的影響。例如，如果模糊圖像包含大量的噪聲，則該模糊圖像很可能被判斷為清晰圖像，這是因為，噪聲經(jīng)常包括現(xiàn)有技術2中例示的狄拉克(Dirac)結構。換言之，該方法的魯棒性成為技術難題。

因此，期望提出一種新技術，以解決現(xiàn)有技術中的至少一個問題。

技術實現(xiàn)要素：

本發(fā)明是鑒于上述問題中的至少一者而提出的。

根據(jù)本發(fā)明的一個方面，提供了一種將視頻中的輸入圖像中的視覺 元素分類為前景或背景的方法，所述輸入圖像包括多個視覺元素，所述方法包括：獲取步驟，獲取與所述輸入圖像相關聯(lián)的背景模型；模糊強度確定步驟，通過在所述輸入圖像與所述背景模型之間比較所述多個視覺元素的邊緣強度，來確定所述輸入圖像的模糊強度；分類閾值確定步驟，根據(jù)所述模糊強度來確定分類閾值；以及分類步驟，根據(jù)所述分類閾值，將所述視覺元素分類為所述前景或所述背景。

通過以下參照附圖對示例性實施例的描述，本發(fā)明進一步的特征將變得清楚。

附圖說明

被并入說明書中并構成說明書的一部分的附圖例示了本發(fā)明的實施例，并與文字描述一起用來說明本發(fā)明的原理。

圖1A例示了背景模型的示例。圖1B例示了內(nèi)部有人的輸入圖像，在該輸入圖像中，通過背景減除過程而對前景背景分離進行了標示。

圖2示出了由于失焦而導致的模糊的輸入圖像的現(xiàn)有技術1的分離結果，在該分離結果中，許多背景視覺元素被錯誤地分離為前景元素。

圖3(包括圖3A和圖3B)示出了對模糊幀和正常幀的圖像特征的比較分析，其中，圖3A是失焦的模糊幀，圖3B是具有與圖3A相同的內(nèi)容的正常幀，但是清晰得多。

圖4A是根據(jù)能夠實施本發(fā)明的示例性實施例的第一示例性系統(tǒng)結構的示意框圖。

圖4B是根據(jù)能夠實施本發(fā)明的示例性實施例的第二示例性系統(tǒng)結構的示意框圖。

圖5是例示圖4A及圖4B中的計算設備420的示例性硬件結構的框圖。

圖6示出了根據(jù)本發(fā)明的示例性實施例將視覺元素分類為前景或背景的方法的主要流程圖。

圖7示出了提取圖3A的輸入圖像的背景區(qū)域的結果。

圖8A示出了實施確定輸入圖像的模糊強度的步驟S200的第一示例。

圖8B示出了在不首先提取輸入圖像的背景區(qū)域的情況下實施步驟S200的另一示例。

圖9示出了之字形圖案的DCT系數(shù)表以及用于邊緣強度的計算的系數(shù)AC01、AC02、AC10及AC20。

圖10(包括圖10A和圖10B)通過比較現(xiàn)有技術1和本發(fā)明的分類結果而例示了本發(fā)明的效果，圖10A示出了現(xiàn)有技術1的分類結果，其中大量的視覺元素被錯誤地分類為前景，圖10B示出了根據(jù)本發(fā)明的實施例的分類結果，在該結果中，獲得了更高的分類精度。

圖11示出了根據(jù)本發(fā)明的示例性實施例將視頻中的輸入圖像中的視覺元素分類為前景或背景的裝置1000的功能配置。

具體實施方式

現(xiàn)在，將參照附圖來詳細描述本發(fā)明的各種示例性實施例。應當注意，除非另外特別說明，否則在這些實施例中提出的各構成要素及步驟的相對布置、數(shù)值表達式以及數(shù)值并不限定本發(fā)明的范圍。

以下對至少一個示例性實施例的描述在本質(zhì)上僅僅是說明性的，并且絕非旨在限制本發(fā)明、本發(fā)明的應用或者用途。

相關領域的普通技術人員所公知的技術、方法及裝置可以不作詳細討論，并且在適當?shù)那闆r下旨在成為本說明書的一部分。

在本文中例示和討論的所有示例中，任何具體值均應當被解釋為僅是說明性的并且是非限制性的。因此，示例性實施例的其他示例可能具有不同的值。

請注意，在以下各圖中，相似的附圖標記及字母指代類似的項目，因而，一旦項目在一個圖中被定義，則對于之后的圖，該項目可能不需要被進一步討論。

接下來，對本發(fā)明的原理進行說明。為了解決在視頻中的模糊圖像中進行前景背景分離的技術難題，需要對圖像模糊度的計算。

圖3示出了對模糊幀和正常幀的圖像特征的比較分析。圖3A是失焦的模糊幀。圖3B是具有與圖3A相同的內(nèi)容的正常幀，但是清晰得多。

在圖3A中取第一個塊，并且在該塊內(nèi)，選擇兩個相鄰的像素i和i+1。在圖3A中，像素i與像素i+1之間的強度差(intentisy difference)被例示為D1。

在圖3B中取第二個塊。第二個塊和第一個塊具有相同的尺寸及位置。在第二個塊內(nèi)，選擇兩個相鄰的像素j和j+1。j具有與i相同的坐標，并且j+1具有與i+1相同的坐標。在圖3B中，像素j與像素j+1之間的強度差被例示為D2。

如圖3所示，D1小于D2。這意味著，模糊圖像中的視覺元素的邊緣強度，經(jīng)常小于正常圖像中的視覺元素的邊緣強度(edge intensity)。

本發(fā)明的一個示例性實施例在估計圖像模糊強度(blurry strength)時，利用了該特征。本實施例通過在視頻幀與背景模型之間比較各視覺元素的邊緣強度，判斷各視覺元素是否為模糊的。然后，通過計算模糊視覺元素的數(shù)量與全體視覺元素的數(shù)量之比，來獲得視頻幀的模糊強度。然后，可以使用視頻幀的模糊強度，動態(tài)地調(diào)整將視覺元素分類為前景或背景的分類閾值。

現(xiàn)在，返回到本發(fā)明的具體實施中。

圖4A是根據(jù)能夠實施本發(fā)明的示例性實施例的第一示例性系統(tǒng)配置的示意框圖。成像設備400包括照相機傳感器410和連接的計算設備420。照相機傳感器410獲取視頻或圖像序列。計算設備420實施將視覺元素分類為前景或背景的方法。計算設備420可以是結構緊湊且容易被嵌入成像設備400中的集成電路芯片的形式。例如，成像設備400可以是手持照相機、網(wǎng)絡照相機，或者是具有照相機的移動電話。

圖4B是根據(jù)能夠實施本發(fā)明的示例性實施例的第二示例性系統(tǒng)配置的示意框圖。照相機傳感器410被用來獲得視頻或圖像序列。計算機網(wǎng)絡430將這些視頻或圖像序列發(fā)送到計算設備420。計算設備420實施將視覺元素分類為前景或背景的方法。計算設備420可以是本地個人計 算機、遠程服務器或工作站的形式。

圖5是例示圖1A及圖1B中的計算設備420的示例性硬件結構的框圖。

通過輸入/輸出(I/O)接口510便利了從照相機傳感器410到計算設備420的圖像發(fā)送，該I/O接口510可以是符合通用串行總線(USB)標準并且具有相應的USB連接器的串行總線。也可以從本地存儲設備440下載圖像序列，該本地存儲設備440可以包括SIM卡、SD卡及USB存儲卡等。

圖像通過I/O接口510獲得，并被發(fā)送到存儲器(Memory)550。處理器520被布置為取回存儲器550中存儲的公開方法的軟件程序。處理器520還被布置為提取、解碼并執(zhí)行根據(jù)所公開方法的所有步驟，例如在圖6、圖8A及圖8B中所示的步驟。處理器520利用系統(tǒng)總線530，將各個操作的結果記錄至存儲器550。除了存儲器550之外，還可以經(jīng)由I/O接口560，將輸出更永久地存儲在存儲設備440上。作為另一選擇，也可以利用音頻/視頻接口568，將輸出顯示在監(jiān)視器450上，以供人查看。

計算設備420可以是各種形式，例如，能夠去除一個或更多個不必要的部件或者添加一個或多個附加部件的、嵌入在圖4A中的攝像設備中或嵌入在圖4B中的單獨計算機中的處理系統(tǒng)。

接下來，詳細說明用于處置包括多個視覺元素的視頻圖像的方法的示例性實施例。本實施例能夠將視頻中的輸入圖像中的視覺元素，分類為前景或背景。并且，通過組合輸入圖像中的各視覺元素的分類結果，本實施例能夠進一步在輸入圖像中進行前景背景分離。

圖6示出了根據(jù)本發(fā)明的示例性實施例將視覺元素分類為前景或背景的方法的主要流程圖。圖3A是視頻中的輸入圖像的示例。

輸入圖像或視頻幀可以被認為是由視覺元素組成。視覺元素可以是單個像素或者是一組鄰接像素。

在步驟S100，獲取與輸入圖像相關聯(lián)的背景模型。背景模型用來表現(xiàn)在不同時刻捕獲的場景內(nèi)的視覺元素。背景模型是場景中可見的非瞬 時部分的表現(xiàn)。因此，背景模型描述不包含前景對象的場景。在一個示例中，背景模型僅僅是視頻的第一幀或者前幾幀的平均值。背景模型也可以是如專利US8305440中所公開的多模式背景模型。

在步驟S200中，通過在輸入圖像與背景模型之間比較多個視覺元素的邊緣強度，來確定輸入圖像的模糊強度。

可以通過便于計算的可選方式，來實施一些預處理步驟。在本示例性實施例中，以8*8的規(guī)模對輸入圖像實施離散余弦變換(DCT)，這64個塊中的每個是一個像素，或者是一組鄰接像素。在這種情況下，認為輸入圖像包括多個視覺元素，并且各視覺元素由64個塊組成。

不只DCT處理，還可以選擇傅立葉變換(FT)、小波變換(WT)或其他圖像變換，來方便計算。

然而，本領域的技術人員能夠清楚地理解，雖然一個示例采用了DCT變換，但是，這并不意味著DCT變換是實現(xiàn)本發(fā)明的目的所必不可少的。作為另一選擇，也可以在不超越本發(fā)明的原則的情況下，直接處置輸入圖像并遵循圖6的主要流程圖。

在圖8中，說明了步驟S200的具體實施過程。圖8A例示了確定輸入圖像的模糊強度的第一示例。

在步驟S210中，通過使用背景減除方法，來提取輸入圖像的背景區(qū)域。首先，對基本思想進行說明。針對輸入圖像中包括的多個視覺元素中的各個，計算輸入圖像與步驟S100中獲取的關聯(lián)的背景模型之間的視覺距離。然后，將視覺距離與預定閾值T₁進行比較，并且將視覺距離小于T₁的那些視覺元素提取為背景區(qū)域。可以通過試驗來選擇T₁。

其次，描述提取背景區(qū)域的具體實施過程。首先，通過離散余弦變換來處理輸入圖像。8個DCT系數(shù)被劃分為“DC”特征(Y₀,Cb,Cr)和“AC”特征(Y₁…Y₅,)。DC特征代表亮度特征及顏色特征，而AC特征代表紋理特征。

DC特征和AC特征的距離由以下的公式來計算。

D_Yj＝abs(Y_{j_input}-Y_{j_bg}),j＝0,1...5 (1)

換言之，針對輸入圖像計算系數(shù)Y_j，由此得到Y_{j_input}。針對關聯(lián)的背景模型計算系數(shù)Y_j，由此得到Y_{j_bg}。D_Yj等于Y_{j_input}與Y_{j_bg}之差的絕對值。

類似地，按照公式(2)及(3)計算D_Cb及D_Cr。

D_Cb＝abs(Cb_input-Cb_bg) (2)

D_Cr＝abs(Cr_input-Cr_bg) (3)

然后，分別按照公式(4)及(5)得到D_DC及D_AC。D_DC表示視覺距離VD的DC分量，并且D_AC表示VD的AC分量。

D_DC是D_Cb及D_Cr的加權和，而D_AC是D_Yi的加權和。G₀…G₇是特征的權重。可以通過訓練數(shù)據(jù)的線性回歸分析來獲得權重。

按照公式(6)，來計算視覺元素在輸入圖像與關聯(lián)的背景模型之間的視覺距離VD。

VD＝D_DC+D_AC (6)

然后，通過比較VD和預定閾值T₁，來判斷視覺元素是否屬于背景區(qū)域。將視覺距離小于T₁的那些視覺元素提取為背景區(qū)域。

圖7示出了提取圖3A的輸入圖像的背景區(qū)域的結果。

返回參照圖8A。在步驟S220，分別確定所述背景區(qū)域中的全體視覺元素的第一數(shù)量N_Total，和所述背景區(qū)域中的模糊視覺元素的第二數(shù)量N_Blur。

關鍵點是判斷視覺元素是否為模糊的。并且，本示例性實施例通過計算邊緣強度來進行判斷，因為分析表明，模糊圖像中的邊緣強度經(jīng)常小于正常圖像中的邊緣強度。

在本實施例中，采用通過利用DCT系數(shù)的結果來計算邊緣強度的方法。作為另一選擇，可以選擇不同的方法來計算邊緣強度。

在本實施例中，輸入圖像包括多個視覺元素。并且，每個視覺元素包括64個塊。計算64個塊的邊緣強度，并且使用最大的邊緣強度，來 代表整個視覺元素的邊緣強度。

使用4個DCT系數(shù)，按照公式(7)和(8)，分別計算在水平方向和垂直方向上的YCrCb顏色空間的Y通道中的強度(intensity)，其中，x和y是從原點起的序號。公式(7)和(8)是用來執(zhí)行IDCT(逆離散余弦變換)的手段。

(x＝0,1…7),(y＝0,1…7)

在上下文中，AC₀₁、AC₀₂、AC₁₀及AC₂₀代表一些DCT系數(shù)。如果我們在之字形圖案中布置DCT系數(shù)表，則使用的系數(shù)是AC₀₁、AC₀₂、AC₁₀及AC₂₀。圖9示出了之字形圖案的DCT系數(shù)表以及用于邊緣強度的計算的系數(shù)。

塊中的邊緣可以被認為是Y通道中的強度改變最大的那些像素。因此，能夠通過強度的改變來測量塊邊緣。按照公式(9)及(10)，求出f(x)的導數(shù)，即f'(x)，以及g(y)的導數(shù)，即g'(y)。

(x＝0,1…7),(y＝0,1…7)

此外，在視覺元素的全部64個塊之中，求出f'(x)的絕對值的最大值和g'(y)的絕對值的最大值，從而給出max|f'(x)|及max|g'(y)|。按照公式(11)，通過使用X方向上的梯度的絕對值的最大值和Y方向上的梯度的絕對值的最大值，來計算視覺元素的邊緣強度EdgeIntensity，其中，X方向是水平的，并且Y方向是垂直的。

EdgeIntensity＝sqrt(max|f'(x)|*max|f'(x)|+max|g'(y)|*max|g'(y)|) (11)

值得注意，計算視覺元素的邊緣強度的方法并不局限于公式(11)。

在一個方面，公式(11)求出最大值，來代表包括多個塊的視覺元素的邊緣強度。在另一方面，例如，替代方法能夠計算視覺元素的全部多個塊的邊緣強度的平均值，作為該視覺元素的邊緣強度。

本領域的技術人員能夠清楚地理解，可以在不超越本發(fā)明的原則的情況下，采用其他的計算方法。

接下來，將按照例如公式(11)，針對在步驟S210提取的背景區(qū)域中的各視覺元素，來計算兩個邊緣強度。基于輸入圖像來計算一個邊緣強度EdgeIntensity_input，并且基于背景模型來計算另一邊緣強度EdgeIntensity_bg。將EdgeIntensity_input與EdgeIntensity_bg進行比較。如果EdgeIntensity_input減EdgeIntensity_bg小于閾值T2，則將該元素判斷為模糊的；否則，將該元素判斷為正常的。可以通過試驗來選擇T2。

例如，T2可以是0。換言之，如果該視覺元素在輸入圖像中的邊緣強度，小于該視覺元素在背景模型中的關聯(lián)的邊緣強度，則該視覺元素被識別為模糊的。

在步驟S220，通過上述的方法，來計數(shù)所述背景區(qū)域中的模糊視覺元素的第二數(shù)量N_Blur，并且確定所述背景區(qū)域中的全體視覺元素的第一數(shù)量N_Total。

返回參照圖8A，在步驟S230，根據(jù)第二數(shù)量與第一數(shù)量之比，來計算輸入圖像的模糊強度，也即，

BlurStrength＝N_Blur/N_Total (12)

請注意，步驟S210的優(yōu)點，是確保輸入圖像的模糊強度的計算不受前景對象的干擾。對于位于輸入圖像的前景對象處的那些視覺元素，這些元素在輸入圖像中的邊緣強度，可能不同于這些元素在背景模型中的邊緣強度。然而，這種差異可能是由前景對象的內(nèi)容導致的，而不是由輸入圖像的模糊程度導致的。

本領域的技術人員能夠清楚地理解，步驟S210是可選的。圖8B示出了在不首先提取所述輸入圖像的背景區(qū)域的情況下實施步驟S200的另 一示例性流程圖。作為替代，本示例基于整個輸入圖像來計算輸入圖像的模糊強度。

在步驟S220’，分別確定輸入圖像中的全體視覺元素的第三數(shù)量N'_Total，和輸入圖像中的模糊視覺元素的第四數(shù)量N'_Blur。請注意，在圖8B的實施過程中判斷視覺元素是否模糊的標準，與在圖8A的實施過程中的標準相同。

在步驟S230’，根據(jù)第四數(shù)量與第三數(shù)量之比，來計算輸入圖像的模糊強度，也即，

BlurStrength＝N′_Blur/N′_Total (13)

然后，可以使用輸入圖像的模糊強度，動態(tài)地調(diào)整將視覺元素分類為前景或背景的分類閾值。

返回參照圖6，請注意，可以通過圖8A中的流程圖或者通過圖8B中的流程圖，來計算步驟S300中的模糊強度。

在步驟S300，根據(jù)模糊強度來計算分類閾值T3。例如，可以按照公式(14)來確定T3。

T3＝(1+α*BlurStrength)*T_pre (14)

T_pre表示預定閾值，該預定閾值是通過使用機器學習方法或者通過試驗而獲得的。T_pre可以是在不考慮圖像的模糊程度的情況下的分類閾值。可以按照公式(12)或(13)來計算BlurStrength。α是BlurStrength的權重，并且α的值大于0。

值得注意，計算T3的方法并不局限于公式(14)。也可以應用其他可行的方法，只要保證模糊強度越大，則分類閾值越大即可。

在步驟S400，根據(jù)分類閾值T3，將輸入圖像中的視覺元素分類為前景或背景。該分類步驟還包括：計算視覺元素在輸入圖像與背景模型之間的視覺距離；以及通過將該視覺距離與分類閾值T3進行比較，將視覺元素分類為前景或背景。

請注意，可以按照公式(6)，來計算視覺元素在輸入圖像與背景模型之間的視覺距離。

然后，如果視覺距離大于分類閾值T3，則將視覺元素分類為前景，而如果視覺距離小于分類閾值T3，則將視覺元素分類為背景。

借助于上述處理，輸入圖像中的視覺元素將被精確地分類為前景或背景。

根據(jù)本發(fā)明的另一實施例，公開了一種在視頻中的輸入圖像中進行前景背景分離的方法，所述輸入圖像包括多個視覺元素，并且，所述方法包括：根據(jù)上述的方法，將所述輸入圖像中的所述多個視覺元素中的各個分類為前景或背景。

圖11示出了根據(jù)本發(fā)明的示例性實施例將視頻中的輸入圖像中的視覺元素分類為前景或背景的裝置1000的功能配置。并且，輸入圖像包括多個視覺元素。可以通過硬件、固件、軟件或這三者的任意組合中的任何一種方式，來構造該裝置以及包括在該裝置中的單元，只要用于將視覺元素分類為前景或背景的該裝置中的單元能夠實施前面描述的方法的相應步驟的功能即可。例如，該裝置以及包括在該裝置中的單元可以實施圖6及圖8中的工作流程及步驟。

如果裝置1000是部分地或全部地由軟件來構造的，則該軟件被存儲在諸如圖5中的存儲器550等的計算機的存儲器中，并且，當諸如圖5的部件520等的計算機的處理器通過執(zhí)行所存儲的軟件來進行處理時，該計算機能夠實現(xiàn)本發(fā)明的、將視覺元素分類為前景或背景的功能。在另一方面，裝置1000可以部分地或全部地由硬件或固件來構造。裝置1000可以作為功能模塊被并入到圖4A中的計算設備420中。

裝置1000可以包括：獲取單元1100，其被構造為獲取與輸入圖像相關聯(lián)的背景模型；模糊強度確定單元1200，其被構造為通過在輸入圖像與背景模型之間比較所述多個視覺元素的邊緣強度，來確定所述輸入圖像的模糊強度；分類閾值確定單元1300，其被構造為根據(jù)所述模糊強度來確定分類閾值；以及分類單元1400，其被構造為根據(jù)所述分類閾值，將視覺元素分類為前景或背景。

在一個實施例中，裝置1000還包括成像單元1500，該成像單元1500 被構造為獲得視頻。

在一個實施例中，裝置1000還包括顯示控制器1600，該顯示控制器1600被構造為在顯示單元上，顯示從成像單元獲得的圖像或視頻。

在一個實施例中，模糊強度確定單元還包括：背景區(qū)域提取子單元，其被構造為提取所述輸入圖像的背景區(qū)域；數(shù)量確定子單元，其被構造為分別確定所述背景區(qū)域中的全體視覺元素的第一數(shù)量，和所述背景區(qū)域中的模糊視覺元素的第二數(shù)量；以及模糊強度計算子單元，其被構造為根據(jù)所述第二數(shù)量與所述第一數(shù)量之比，來計算所述輸入圖像的模糊強度。

作為另一選擇，在另一實施例中，所述模糊強度確定單元還包括：數(shù)量確定子單元，其被構造為分別確定所述輸入圖像中的全體視覺元素的第三數(shù)量，和所述輸入圖像中的模糊視覺元素的第四數(shù)量；以及模糊強度計算子單元，其被構造為根據(jù)所述第四數(shù)量與所述第三數(shù)量之比，來計算所述輸入圖像的所述模糊強度。

在一個實施例中，在數(shù)量確定子單元中，如果視覺元素在輸入圖像中的邊緣強度，小于該視覺元素在背景模型中的關聯(lián)的邊緣強度，則將該視覺元素識別為模糊的。

在一個實施例中，視覺元素的邊緣強度的計算如下：計算所述視覺元素在水平方向上的梯度的絕對值的最大值；計算所述視覺元素在垂直方向上的梯度的絕對值的最大值；以及根據(jù)兩個最大值來計算視覺元素的邊緣強度。

在一個實施例中，在分類閾值確定單元中，所述模糊強度越大，則所述分類閾值越大。

在一個實施例中，在分類閾值確定單元中，通過下面的公式來確定分類閾值T。

T＝(1+α*BlurStrength)*T_pre (15)

其中，T_pre是預定閾值，BlurStrength是模糊強度，α是模糊強度的權重，并且α的值大于0。

在一個實施例中，分類單元還包括：計算子單元，其被構造為計算視覺元素在輸入圖像與背景模型之間的視覺距離；以及分類子單元，其被構造為通過將所述視覺距離與分類閾值T進行比較，來將視覺元素分類為前景或背景。

在一個實施例中，分類單元被構造為在視覺距離大于分類閾值T的情況下，將視覺元素分類為前景，而在視覺距離小于分類閾值T的情況下，將視覺元素分類為背景。

在另一方面，本發(fā)明還公開了一種視頻監(jiān)控系統(tǒng)，該視頻監(jiān)控系統(tǒng)由通過網(wǎng)絡連接的照相機和客戶端計算設備構成。并且，圖4B示例性地例示了這樣的視頻監(jiān)控系統(tǒng)。

在圖4B中，照相機410包括成像單元，該成像單元用于獲得視頻。獲得的視頻通過網(wǎng)絡430被發(fā)送到客戶端計算設備420，以進行進一步的處理。并且，客戶端計算設備420被構造為將獲得的視頻中的輸入圖像中的視覺元素，分類為前景或背景，所述輸入圖像包括多個視覺元素，所述客戶端計算設備包括：

獲取單元，其被構造為獲取與所述輸入圖像相關聯(lián)的背景模型；

模糊強度確定單元，其被構造為通過在所述輸入圖像與所述背景模型之間比較所述多個視覺元素的邊緣強度，來確定所述輸入圖像的模糊強度；

分類閾值確定單元，其被構造為根據(jù)所述模糊強度來確定分類閾值；以及

分類單元，其被構造為根據(jù)所述分類閾值，將所述視覺元素分類為所述前景或所述背景。

[實驗結果]

為了顯現(xiàn)本發(fā)明的效果，進行了實驗來顯示根據(jù)上述實施例的本發(fā)明的性能。

圖3A示出了失焦的模糊視頻幀，即要處理的輸入圖像。圖1A是輸 入圖像的關聯(lián)的背景模型。

圖10通過比較現(xiàn)有技術1和本發(fā)明的分類結果而例示了本發(fā)明的效果。

圖10A示出了現(xiàn)有技術1的分類結果，其中大量的視覺元素被錯誤地分類為前景。

圖10B示出了根據(jù)本發(fā)明的實施例的分類結果，其中獲得了高得多的分類精度。這是因為，本發(fā)明精確地確定輸入圖像的模糊強度，并相應地調(diào)整分類閾值。

此外，使用了包括多于12000幀的3個視頻，來評估現(xiàn)有技術1與本發(fā)明之間的分類的性能。評估準則是由公式(16)至(18)定義的。

分別通過現(xiàn)有技術1和本發(fā)明的實施例對相同數(shù)據(jù)集進行了測試，以評估性能。實驗表明：

·與現(xiàn)有技術1相比，本發(fā)明的實施例的精度(Precision)顯著提高了約50％；

·本發(fā)明的實施例能夠達到與現(xiàn)有技術1幾乎相同的召回率(Recall Rate)；

·與現(xiàn)有技術1相比，本發(fā)明的實施例能夠使F1分數(shù)(F1 Score)提高約27％。

所述性能證明了本發(fā)明的如下原理的有效性，也即，通過在輸入圖像與關聯(lián)的背景模型之間比較多個視覺元素的邊緣強度，來計算輸入圖像的模糊強度，并且根據(jù)該模糊強度，來調(diào)整分類閾值。

由于所公開的方法的低的計算成本，本發(fā)明能夠滿足實時計算的要求，并且適合于實時視頻中的前景背景分離。

因此，本發(fā)明提供了高魯棒性的方法，從而同時以高的精度和高的速度，在前景背景分類的任務中處置模糊圖像。

可以通過多種方式來實施本發(fā)明的方法及系統(tǒng)。例如，可以通過軟件、硬件、固件或這三者的任意組合，來實施本發(fā)明的方法及系統(tǒng)。上面描述的方法的步驟的順序僅旨在進行舉例說明，并且，除非另外特別說明，否則本發(fā)明的方法的步驟并不限于上面具體描述的順序。此外，在一些實施例中，本發(fā)明還可以體現(xiàn)為記錄在記錄介質(zhì)中的程序，包括用于實施根據(jù)本發(fā)明的方法的機器可讀指令。

雖然已利用示例詳細展示了本發(fā)明的一些具體實施例，但是本領域的技術人員應當理解，以上示例僅旨在舉例說明，并非限制本發(fā)明的范圍。本領域的技術人員應當理解在不背離本發(fā)明的范圍和主旨的情況下，可以對以上實施例進行變型。本發(fā)明的范圍通過所附權利要求來限定。