一種基于oab算法的多攝像機(jī)人體跟蹤方法
【專利摘要】本發(fā)明公開了一種基于OAB算法的多攝像機(jī)人體跟蹤方法。它包括以下步驟：(0)利用首先在數(shù)據(jù)集中訓(xùn)練DPM算法能夠使用的人體模型。(1)在其中一個(gè)攝像機(jī)中選取跟蹤目標(biāo)區(qū)域。(2)使用OAB(online boosting)跟蹤算法在選取目標(biāo)區(qū)域的攝像機(jī)中進(jìn)行跟蹤。(3)用已經(jīng)得到的DPM人體數(shù)據(jù)模型的基礎(chǔ)上在所有的攝像機(jī)進(jìn)行人體檢測(cè)。(4)用SURF+FLANN進(jìn)行匹配，并且匹配的最小值即為所跟蹤的人體。(5)利用找到的人體作為其他攝像機(jī)中跟蹤的目標(biāo)區(qū)域，并且利用OAB算法進(jìn)行跟蹤。
【專利說明】
-種基于OAB算法的多攝像機(jī)人體跟蹤方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及到視頻監(jiān)控技術(shù)領(lǐng)域，尤其一種基于OAB算法的多攝像機(jī)人體跟蹤方 法。
【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)技術(shù)的進(jìn)步和機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，攝像機(jī)已經(jīng)廣泛應(yīng)用到人機(jī)交 互、導(dǎo)航定位、視頻監(jiān)控等諸多領(lǐng)域，尤其是人們對(duì)公共安全和個(gè)人安全的日益增長(zhǎng)的需 求，大大小小、各種各樣的攝像機(jī)分布在商場(chǎng)、家庭、辦公樓、停車場(chǎng)、高速等區(qū)域。在安防市 場(chǎng)的巨大的需求推動(dòng)之下，再加上響應(yīng)的硬件條件、信息與通信、H. 264等編解碼技術(shù)的日 趨完善，視頻監(jiān)控技術(shù)正在向數(shù)字化、網(wǎng)絡(luò)化、智能化的方向飛速發(fā)展，由過去的單個(gè)攝像 機(jī)的范圍較小的場(chǎng)景已經(jīng)不能滿足市場(chǎng)的需求，多攝像機(jī)將成為視頻監(jiān)控將成為視頻監(jiān)控 的主流。面對(duì)越來越大的視頻監(jiān)控網(wǎng)絡(luò)，每時(shí)每刻都來自海量的視頻監(jiān)控?cái)?shù)據(jù)，而且不同時(shí) 刻的視頻之間還有復(fù)雜的時(shí)間和空間上的密切聯(lián)系。
[0003] 在視頻監(jiān)控中，尤其是在多個(gè)攝像機(jī)中，經(jīng)常會(huì)有一些運(yùn)動(dòng)的人出現(xiàn)在多個(gè)攝像 機(jī)區(qū)域。為了能夠跟蹤到多個(gè)攝像機(jī)中的人，本技術(shù)提出了一種基于OAB的視頻跟蹤算法。 目的是在一個(gè)攝像機(jī)跟蹤成功后自動(dòng)在另外一個(gè)攝像機(jī)中進(jìn)行尋找所要跟蹤目標(biāo)，并且進(jìn) 辛T里艮臣宗。
[0004] 本技術(shù)是在傳統(tǒng)的單攝像機(jī)的跟蹤的基礎(chǔ)上進(jìn)行改進(jìn)，引入了多重算法，旨在能 在多攝像機(jī)中對(duì)運(yùn)動(dòng)的人體進(jìn)行跟蹤，為了解決多攝像機(jī)中的交接問題，本技術(shù)首先利用 DPM檢測(cè)到人體區(qū)域，在此之后利用洲RF檢測(cè)到人體區(qū)域的關(guān)鍵點(diǎn)，最后通過FLMN進(jìn)行匹 配，并將匹配后關(guān)鍵點(diǎn)平均的值排序，最大值所對(duì)應(yīng)的人體即為所對(duì)應(yīng)的跟蹤目標(biāo)。找到目 柄之后，用OAB跟蹤算法進(jìn)行跟蹤。

【發(fā)明內(nèi)容】
：
[0005] 本發(fā)明的內(nèi)容在于設(shè)計(jì)出一套基于多攝像機(jī)跟蹤的人體跟蹤算法，可W在多個(gè)攝 像機(jī)中跟蹤同一個(gè)人。
[0006] -種基于OAB算法的多攝像機(jī)人體跟蹤方法，包括W下步驟：
[0007] SI:在多攝像機(jī)系統(tǒng)的一個(gè)攝像機(jī)中讀入帖，并在該帖中選定需要跟蹤的對(duì)象，記 該攝像機(jī)為Camera-1，在該攝像機(jī)中用OAB跟蹤算法對(duì)后續(xù)帖進(jìn)行對(duì)象跟蹤;將檢測(cè)到的跟 蹤對(duì)象用矩形框表示出來；
[000引S2:多攝像機(jī)系統(tǒng)的其他攝像機(jī)讀入帖，并用DPM算法對(duì)帖進(jìn)行人體檢測(cè)，將檢測(cè) 到的人體在圖片帖中的位置存儲(chǔ)起來，并用矩形框表示出來；
[0009] S3:用洲RF算法對(duì)Camera-I中的矩形區(qū)域進(jìn)行關(guān)鍵點(diǎn)檢測(cè)；SURF(Speeded-叩 Robust Fea化res)算法對(duì)Camera-I中的矩形區(qū)域進(jìn)行關(guān)鍵點(diǎn)檢測(cè)為本領(lǐng)域較為常用的技 術(shù)，具體可參考 Bay H,Tuytelaars T,Gool L V. SURF: Speeded Up Robust Fea1:ures.[J] .Computer Vision&Image Unders1:anding,2006,110(3):404-417;
[0010] S4:用化ANN方法將步驟S2得到的各個(gè)矩形區(qū)域與Camera-1中的矩形區(qū)域進(jìn)行關(guān) 鍵點(diǎn)匹配；
[0011] S5:對(duì)步驟S2得到的每個(gè)矩形區(qū)域內(nèi)的所有關(guān)鍵點(diǎn)的匹配結(jié)果求平均值，得到每 個(gè)矩形區(qū)域的平均值，對(duì)每個(gè)矩形區(qū)域的平均值進(jìn)行排序；
[0012] S6:平均值排序的最小值所對(duì)應(yīng)的矩形區(qū)域即為所交接的人體目標(biāo)區(qū)域；
[0013] S7:對(duì)于交接的人體目標(biāo)在相應(yīng)的攝像機(jī)中使用OAB跟蹤算法進(jìn)行跟蹤。
[0014] 所述的步驟S4具體為：
[0015] 經(jīng)過SURF算法得到了圖片中關(guān)鍵點(diǎn)的信息及其每個(gè)關(guān)鍵點(diǎn)所對(duì)應(yīng)的具有一定維 數(shù)的向量，設(shè)向量的維數(shù)為k，在當(dāng)前圖片中檢測(cè)到的向量集合為T= {xi,X2，，，，xn}，T中每一 個(gè)向量假設(shè)夫
鍵點(diǎn)匹配的目標(biāo)是要在T中找到與目 標(biāo)向量X相近的向量，
[0016] 關(guān)鍵點(diǎn)匹配過程如下：
[0017] 1)構(gòu)造 kd 樹
[0018] a)構(gòu)造根結(jié)點(diǎn)，WT中所有實(shí)例的xW坐標(biāo)的中位數(shù)為切分點(diǎn)，從而劃分為兩個(gè)區(qū) 域，由根結(jié)點(diǎn)生成深度為1的左、右子結(jié)點(diǎn)：左子結(jié)點(diǎn)對(duì)應(yīng)坐標(biāo)xW小于切分點(diǎn)的子區(qū)域，右 子結(jié)點(diǎn)對(duì)應(yīng)與坐標(biāo)大于切分點(diǎn)的子區(qū)域；
[0019] b)重復(fù):對(duì)深度為j的結(jié)點(diǎn)，W所有實(shí)例的坐標(biāo)的中位數(shù)為切分點(diǎn)，l = j(m〇d k) + l，同樣的也會(huì)劃分為兩個(gè)子區(qū)域，切分由通過切分點(diǎn)并與坐標(biāo)軸垂直的超平面實(shí) 現(xiàn)，由該節(jié)點(diǎn)生成深度為j + 1的左、右子結(jié)點(diǎn)：左子結(jié)點(diǎn)對(duì)應(yīng)于坐標(biāo)小于切分點(diǎn)的子區(qū) 域，右子結(jié)點(diǎn)對(duì)應(yīng)坐標(biāo)大于切分點(diǎn)的子區(qū)域，將落在切分超平面上的實(shí)例點(diǎn)保存該結(jié) 點(diǎn)' ；
[0020] C)重復(fù)步驟b)直到所有子區(qū)域沒有實(shí)例存在時(shí)停止，從而形成kd樹；
[0021] 2)kd樹的最近鄰捜索
[0022] 首先找到包含目標(biāo)向量X的葉節(jié)點(diǎn)；然后從該葉子結(jié)點(diǎn)出發(fā)，依次回退到父結(jié)點(diǎn)； 不斷查找與目標(biāo)向量X距離最近的點(diǎn)，當(dāng)確定不可能存在更近的結(jié)點(diǎn)時(shí)終止，得到了離X最 近的關(guān)鍵點(diǎn)。其他關(guān)鍵點(diǎn)的匹配依此類推，完成了所有關(guān)鍵點(diǎn)的匹配。
[0023] 本發(fā)明與現(xiàn)有技術(shù)相比的有益效果是：
[0024] 跟蹤的效率極大的提高。現(xiàn)有的技術(shù)往往是精度低，在實(shí)際可行的方案中，W Meanshift的變體Camshift算法居多。因?yàn)镃amshift的速度能夠達(dá)到實(shí)時(shí)的效果，Camshift 的基本思想是視頻圖像的所有帖用M e a n S h i f t計(jì)算，將上一帖跟蹤的結(jié)果應(yīng)用到下一帖的 MeansMft的初始值，并且進(jìn)行運(yùn)算，如果顏色相近的話，則容易跟丟。而OAB算法的主要思 想是利用多個(gè)弱分類器組合成強(qiáng)分類器，可W區(qū)分出跟蹤目標(biāo)與背景，W達(dá)到很高的精度。 另外，SURF是計(jì)算速度很可觀的描述子，在CUDA的環(huán)境下，將SURF的內(nèi)部處理并行化，極大 的提高了速度，對(duì)于多攝像機(jī)跟蹤系統(tǒng)的流楊性起到了很大的作用。
【附圖說明】
[0025] 圖1是基于OAB的多攝像機(jī)跟蹤方法總體示意圖；
[0026] 圖2是多攝像機(jī)人體目標(biāo)交接示意圖；
[0027] 圖3是人體區(qū)域匹配示意圖。
【具體實(shí)施方式】
[0028] 本發(fā)明利用OAB跟蹤算法W及利用多攝像機(jī)的人體交接來進(jìn)行多攝像機(jī)的人體目 標(biāo)跟蹤。具體的實(shí)現(xiàn)包括W下步驟：
[0029] (1)在實(shí)際環(huán)境中，往往因不同的環(huán)境而影響DPM檢測(cè)算法的精度。為了解決運(yùn)個(gè) 問題，需要收集大量的，與實(shí)際環(huán)境相一致的訓(xùn)練集圖片，去最大限度的減弱環(huán)境的影響。 首先，要收集與應(yīng)用環(huán)境相一致的正樣本，并且收集一些常用的負(fù)樣本。為了提高精度，可 W適當(dāng)?shù)募尤胍恍├щy樣本到訓(xùn)練集中的負(fù)樣本中去。
[0030] (2)用步驟(1)所得到的訓(xùn)練集進(jìn)行訓(xùn)練，并且得到了 DPM算法的模型文件。
[0031 ] (3)在通過攝像機(jī)得到的帖并已經(jīng)選擇了跟蹤區(qū)域后，采用OAB跟蹤算法進(jìn)行跟 蹤。單攝像機(jī)跟蹤算法〇AB(Real-time tracking via on-line Boosting)主要判定了分類 器是不是背景的思想，假設(shè)在一個(gè)圖片中還有大量的元素，如果有所跟蹤的目標(biāo)，將跟蹤的 目標(biāo)劃分為前景，反之，則劃分為背景。為了適應(yīng)目標(biāo)模型，需要進(jìn)行不斷的模型更新。另 夕hOAB跟蹤算法將多個(gè)弱分類器合并成一個(gè)強(qiáng)的分類器，更能提高了準(zhǔn)確度。
[0032] (4)如圖1所示，在已有確定人體的跟蹤區(qū)域的條件下，需要對(duì)其他攝像機(jī)進(jìn)行人 體檢測(cè)。用(2)所得到的DPM算法的模型文件對(duì)其他攝像機(jī)中的圖片進(jìn)行人體檢測(cè)。DPM算法 對(duì)視頻中的帖檢測(cè)，并且定位到帖中的人體區(qū)域。DPM算法是基于一個(gè)判別式訓(xùn)練的、多尺 度的、部分模型。DPM檢測(cè)人體的特征是基于稠密算法的HOG特征化iStogram of Oriented Gradients) eDPM采用的是latent SVM的方法，而冊(cè)G采用的是I inear SVM的方法來訓(xùn)練。
[0033] (5)用SURF進(jìn)行匹配。圖2展示了不同攝像機(jī)人體之間的關(guān)系并且顯示了匹配的具 體流程。用SURF在Camera-I和其他的攝像機(jī)中的人體區(qū)域進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，并且用FLANN (fast UbraiT for Approximate Nearest Nei曲borhood)的方法將Camera-I的矩形區(qū)域 與其他的攝像機(jī)中的各個(gè)矩形區(qū)域進(jìn)行匹配。W兩個(gè)攝像機(jī)為例，如圖3所示，坐標(biāo)的攝像 機(jī)中的Cl是OAB算法跟蹤的人體，目的是要在攝像機(jī)C2中檢測(cè)人A的矩形區(qū)域。C2中的矩形 區(qū)域是DPM算法檢測(cè)出來的區(qū)域，將C1中的人A分別與C2中的人A、B、C、D進(jìn)行FLMN匹配，每 一次匹配的結(jié)果為一組數(shù)據(jù)，分別求運(yùn)一組數(shù)據(jù)的平均值。將所有的平均值的進(jìn)行排序，最 小值在C2中對(duì)應(yīng)的最小的矩形區(qū)域即為所找到的區(qū)域。
[0034] (6)將運(yùn)個(gè)矩形區(qū)域傳遞給跟蹤算法的初始目標(biāo)，并且用OAB跟蹤算法進(jìn)行跟蹤。 同樣，還W圖3為例，將C2中的A的信息交給OAB跟蹤算法進(jìn)行初始化，在初始化后進(jìn)行跟蹤。
【主權(quán)項(xiàng)】
1. 一種基于OAB算法的多攝像機(jī)人體跟蹤方法，包括以下步驟： Sl:在多攝像機(jī)系統(tǒng)的一個(gè)攝像機(jī)中讀入幀，并在該幀中選定需要跟蹤的對(duì)象，記該攝 像機(jī)為Camera-I，在該攝像機(jī)中用OAB跟蹤算法對(duì)后續(xù)幀進(jìn)行對(duì)象跟蹤;將檢測(cè)到的跟蹤對(duì) 象用矩形框表示出來； S2:多攝像機(jī)系統(tǒng)的其他攝像機(jī)讀入幀，并用DPM算法對(duì)幀進(jìn)行人體檢測(cè)，將檢測(cè)到的 人體在圖片幀中的位置存儲(chǔ)起來，并用矩形框表示出來； S3:用SURF算法對(duì)Camera-1中的矩形區(qū)域進(jìn)行關(guān)鍵點(diǎn)檢測(cè)； S4:用FLANN方法將步驟S2得到的各個(gè)矩形區(qū)域與Camera-I中的矩形區(qū)域進(jìn)行關(guān)鍵點(diǎn) 匹配； S5:對(duì)步驟S2得到的每個(gè)矩形區(qū)域內(nèi)的所有關(guān)鍵點(diǎn)的匹配結(jié)果求平均值，得到每個(gè)矩 形區(qū)域的平均值，對(duì)每個(gè)矩形區(qū)域的平均值進(jìn)行排序； S6:平均值排序的最小值所對(duì)應(yīng)的矩形區(qū)域即為所交接的人體目標(biāo)區(qū)域； S7:對(duì)于交接的人體目標(biāo)在相應(yīng)的攝像機(jī)中使用OAB跟蹤算法進(jìn)行跟蹤。2. 根據(jù)權(quán)利要求1所述的基于OAB算法的多攝像機(jī)人體跟蹤方法，其特征在于所述的步 驟S4具體為： 經(jīng)過SURF算法得到了圖片中關(guān)鍵點(diǎn)的信息及其每個(gè)關(guān)鍵點(diǎn)所對(duì)應(yīng)的具有一定維數(shù)的 向量，設(shè)向量的維數(shù)為k，在當(dāng)前圖片中檢測(cè)到的向量集合為Τ={Χ1，Χ2，···ΧΝ}，Τ中每一個(gè)向 量假設(shè)：關(guān)鍵點(diǎn)匹配的目標(biāo)是要在T中找到與目標(biāo)向 量X相近的向量，關(guān)鍵點(diǎn)匹配過程如下： 1) 構(gòu)造kd樹 a) 構(gòu)造根結(jié)點(diǎn)，以T中所有實(shí)例的x(1)坐標(biāo)的中位數(shù)為切分點(diǎn)，從而劃分為兩個(gè)區(qū)域，由 根結(jié)點(diǎn)生成深度為1的左、右子結(jié)點(diǎn)：左子結(jié)點(diǎn)對(duì)應(yīng)坐標(biāo)X (1 >小于切分點(diǎn)的子區(qū)域，右子結(jié)點(diǎn) 對(duì)應(yīng)與坐標(biāo)χ(1)大于切分點(diǎn)的子區(qū)域； b) 重復(fù):對(duì)深度為j的結(jié)點(diǎn)，以所有實(shí)例的χ(1)坐標(biāo)的中位數(shù)為切分點(diǎn)，1 = j(mod k) + l， 同樣的也會(huì)劃分為兩個(gè)子區(qū)域，切分由通過切分點(diǎn)并與坐標(biāo)軸x(1)垂直的超平面實(shí)現(xiàn)，由該 節(jié)點(diǎn)生成深度為j+Ι的左、右子結(jié)點(diǎn)：左子結(jié)點(diǎn)對(duì)應(yīng)于坐標(biāo)x (1)小于切分點(diǎn)的子區(qū)域，右子結(jié) 點(diǎn)對(duì)應(yīng)坐標(biāo)χω大于切分點(diǎn)的子區(qū)域，將落在切分超平面上的實(shí)例點(diǎn)保存該結(jié)點(diǎn)； c) 重復(fù)步驟b)直到所有子區(qū)域沒有實(shí)例存在時(shí)停止，從而形成kd樹； 2. kd樹的最近鄰搜索 首先找到包含目標(biāo)向量X的葉節(jié)點(diǎn)；然后從該葉子結(jié)點(diǎn)出發(fā)，依次回退到父結(jié)點(diǎn)；不斷 查找與目標(biāo)向量X距離最近的點(diǎn)，當(dāng)確定不可能存在更近的結(jié)點(diǎn)時(shí)終止，得到離目標(biāo)向量X 最近的關(guān)鍵點(diǎn)，依此完成所有的關(guān)鍵點(diǎn)匹配。
【文檔編號(hào)】G06T7/20GK106023252SQ201610323624
【公開日】2016年10月12日
【申請(qǐng)日】2016年5月16日
【發(fā)明人】包曉安, 吳飛虎, 張瑞林, 張娜, 劉曉東
【申請(qǐng)人】浙江理工大學(xué)