一種實時的視頻跟蹤方法
【專利摘要】本發明公開了一種實時的視頻跟蹤方法，包括以下步驟：首先，通過將跟蹤目標分割成子塊的方式壓縮圖像特征；其次，通過構建多尺度的候選區域以適應跟蹤目標的尺度變化以及快速移動；最后，利用KCF（核化相關濾波器）算法計算特征向量之間的相關性以達到視頻跟蹤的目的。本發明實現了多種場景下常見目標的準確跟蹤，且完全滿足實時性的要求，具備非常高的實用價值。
【專利說明】
一種實時的視頻跟蹤方法
技術領域
[0001]本發明屬于計算機視覺與模式識別領域，具體涉及一種實時的視頻跟蹤方法。
【背景技術】
[0002]視頻跟蹤技術可以廣泛地應用于無人駕駛、安防監控、工業控制、智能交通、國防軍事等領域，其背后蘊藏著十分巨大的學術價值和經濟價值。
[0003]盡管國內外研究人員提出了很多的跟蹤算法，但是在實際應用中仍然面臨著一些困難，主要包括以下幾個方面:
(1)跟蹤目標的外觀變化，因為跟蹤目標相對于攝像機的視角、距離不斷變化；
(2)外界環境的光照變化；
(3)其他物體的遮擋和干擾；
(4)實時性要求。
[0004]最近幾年，基于檢測的跟蹤算法正逐漸地成為視頻跟蹤領域的主流，比較有代表性的算法有CN、KCF、STC、0DFS等。以KCF(核化相關濾波器)為例，KCF對光照變化、遮擋、非剛性形變、運動模糊、背景雜亂的視頻跟蹤效果較好，但對于尺度變化、快速運動、剛性形變等視頻跟蹤效果不佳。

【發明內容】

[0005]針對KCF算法的不足，本發明提出了一種實時的視頻跟蹤方法，具體包括以下步驟:
(1)視頻的第m幀，標出需要跟蹤的目標區域R0I，其中I( m < M，M為視頻的全部幀數；
(2)對目標區域ROI提取特征，即執行步驟A-G:
A、將ROI進行特定比例的擴展，得到區域RExpand;
B、讀取步驟A所述的RExpand內的視頻數據，得到Video；
C、將步驟13所述的Video縮放至特定大小，得到VScale;
D、將步驟C所述的VScale分割成P個NXN大小的子塊，其中2彡N彡8;
E、對步驟D所述的每個子塊j提取特征，即執行步驟a-c，其中KjSp:
a、提取梯度特征，即執行步驟1-1V:
1、根據灰度值計算子塊j內各個像素的梯度(包括幅值和角度)；
I1、統計梯度直方圖，得到梯度直方圖特征HF;
II1、將步驟II的HF進行歸一化，得到HFN;
IV、將步驟III的HFN進行PCA降維，得到GF；
b、提取顏色特征，即執行步驟1-11:
1、根據色度值，將子塊j內的各個像素進行離散化；
i1、統計顏色直方圖，得到顏色直方圖特征CF; C、將步驟a提取的特征GF和步驟b提取的特征CF進行合并，得到特征BF;
F、合并所有子塊的特征BF，得到TBF;
G、利用漢寧窗對TBF進行濾波，得到目標區域ROI的特征RF;
(3)將步驟(2)提取的特征RF進行在線訓練，得到訓練特征TF;
(4)視頻的第(m+1)幀，在步驟(I)的目標區域ROI的附近，生成T個多尺度的候選區域，對每個候選區域ROIt提取特征RFt，其中彡T，即執行步驟A'-G'，且實現了T個候選區域的并行計算:
A'、將ROIt進行特定比例的擴展，得到區域RExpand';
B'、讀取步驟A'所述的RExpancT內的視頻數據，得到Videc/ ；
C、將步驟IV所述的Videc/縮放至特定大小，得到VScale'；
D'、將步驟C'所述的VScale'分割成P個NXN大小的子塊，其中2彡N彡8;
對步驟IV所述的每個子塊j提取特征，即執行步驟其中KjSp:
提取梯度特征，即執行步驟I'-1V^
I丨、根據灰度值計算子塊j內各個像素的梯度(包括幅值和角度)；
II\統計梯度直方圖，得到梯度直方圖特征HF';
III'、將步驟II丨的HF丨進行歸一化，得到HFN丨;
IV\將步驟III'的HFN’進行PCA降維，得到GF’ ；
提取顏色特征，即執行步驟i'-1ir:1’、根據色度值，將子塊j內的各個像素進行離散化；
ii\統計顏色直方圖，得到顏色直方圖特征CF';
c ’、將步驟a'提取的特征GF'和步驟b'提取的特征CF'進行合并，得到特征BF';
F'、合并所有子塊的特征BF'，得到TBF';
利用漢寧窗對TBP進行濾波，得到候選區域ROIt的特征RFt;
(5 )將步驟(4)提取的T個特征{RF1，RF2，…，RFt，…，RFt}分別與步驟(3 )的訓練特征TF進行相關運算，得到T個相關系數{Cl，C2，...，Ct，…，Ct}以及T個偏移量{Si，S2，…，St，…，St};
(6)從T個相關系數{&，(:2，...，(^，...，&}中，選擇最優的I個Ci;
(7)如果Ci大于一閾值T1,則用Ci對應的候選區域ROIi的大小以及偏移量Si更新ROI，并將更新后的ROI作為樣本進行在線訓練、更新訓練特征(對樣本的訓練與其他的處理并行執行)，進入步驟(12)，否則進入步驟(8);
(8)如果步驟(6)中的C1小于一閾值T2，則生成ReT個二次候選區域，對每個二次候選區域ReROIt提取特征ReRFt，其中I彡tSReT，即執行步驟A"-G"，且實現了ReT個二次候選區域的并行計算，否則進入步驟(12);
A"、將ReROIt進行特定比例的擴展，得到區域RExpand";
B"、讀取步驟A"所述的RExpand"內的視頻數據，得到Video";
C"、將步驟B"所述的Video"縮放至特定大小，得到VScale";
D "、將步驟C"所述的VSca I e"分割成P"個N X N大小的子塊，其中2彡N彡8;
E"、對步驟D"所述的每個子塊j提取特征，即執行步驟a"- c"，其中KjSp": a"、提取梯度特征，即執行步驟I"-1V":
I"、根據灰度值計算子塊j內各個像素的梯度(包括幅值和角度)； II"、統計梯度直方圖，得到梯度直方圖特征HF";
III"、將步驟II"的HF"進行歸一化，得到HFN"；
IV"、將步驟III"的HFN"進行PCA降維，得到GF"; b"、提取顏色特征，即執行步驟 i丨丨、根據色度值，將子塊j內的各個像素進行離散化； ii"、統計顏色直方圖，得到顏色直方圖特征CF";
c"、將步驟a"提取的特征GF"和步驟b"提取的特征CF"進行合并，得到特征BF";
F"、合并所有子塊的特征BF"，得到TBF";
G"、利用漢寧窗對TBF"進行濾波，得到候選區域ReROIt的特征ReRFt;
(9)將步驟(8)提取的ReT個特征{ReRF1，ReRF2，...，ReRFt，."，ReRFReT }分別與步驟(3)的訓練特征TF進行相關運算，得到ReT個相關系數{ReCi，ReC2，…，ReCt，…，ReCReT}以及ReT個偏移量{ReSi，ReS2，...，ReSt，…,ReSReTl ；
(10)從ReT個相關系數(ReC1，ReC2，…，ReCt，…，ReCReT}中選擇最優的I個ReCi；
(11)如果ReCi大于一閾值T3，則用ReCi對應的ReROIi的大小以及偏移量ReSi更新ROI，并將更新后的ROI作為樣本進行在線訓練、更新訓練特征TF(對樣本的訓練與其他的處理并行執行)，進入步驟(13)，否則進入步驟(14);
(12)如果C1大于一閾值T4,則用C1對閾值T1進行濾波更新，進入步驟(14)，否則進入步驟(14);
(13)如果ReCi大于一閾值T5，則用ReCi對閾值T3進行濾波更新；
(14)m加1，如果m= M，結束，否則進入步驟(4)。
[0006]本發明的有益效果是:
I)本發明將需要跟蹤的目標區域分割成NXN大小的子塊后提取特征，同時結合PCA降維處理，既保留了目標區域的絕大部分信息，又避免了維數災難。
[0007]2)本發明通過構建多尺度的候選區域，且實現了各個候選區域的并行計算，能夠有效地應對跟蹤目標的尺度變化以及快速移動，而且運算速度快。
[0008]3)本發明通過構建二次候選區域，能夠有效地克服跟蹤過程中出現的遮擋以及干擾問題。
[0009]4)本發明通過選擇訓練樣本并進行在線訓練(對樣本的訓練與其他的處理并行執行)，能夠有效地克服跟蹤過程中目標的外觀變化以及外界的光照變化。
[0010]5)本發明實現了多種場景下常見目標的準確跟蹤，而且完全滿足實時性的要求，具備非常高的實用價值。
【附圖說明】
[0011]圖1為跟蹤的處理流程圖。
[0012]圖2為第m幀ROI的位置示意圖。
[0013]圖3第(m+1)幀候選區域的位置示意圖。
【具體實施方式】
[0014]為了使本發明的目的、技術方案以及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步的詳細說明。
[0015]一種實時的視頻跟蹤方法，處理流程如圖1所示，具體包括以下步驟:
(1)視頻的第m幀，標出I塊需要跟蹤的目標區域R0I，其中I彡m< M，M為視頻的全部幀數；
(2)對目標區域ROI提取特征，即執行步驟A-G:
A、將ROI進行特定比例的擴展，得到區域RExpand，特定比例可根據跟蹤目標的移動速度計算；
B、讀取步驟A所述的RExpand內的視頻數據，得到Video；
C、將步驟13所述的Video縮放至特定大小，得到VScale;
D、將步驟C所述的VScale分割成P個NX N大小的子塊，N=4;
E、對步驟D所述的每個子塊j提取特征，即執行步驟a-c，其中KjSp:
a、提取梯度特征，即執行步驟1-1V:
1、根據灰度值計算子塊j內各個像素的梯度(包括幅值和角度)；
I1、統計梯度直方圖，得到梯度直方圖特征HF;
II1、將步驟II的HF進行歸一化，得到HFN;
IV、將步驟III的HFN進行PCA降維，得到GF；
b、提取顏色特征，即執行步驟1-11:
1、根據色度值，將子塊j內的各個像素進行離散化；
i1、統計顏色直方圖，得到顏色直方圖特征CF;
c、將步驟a提取的特征GF和步驟b提取的特征CF進行合并，得到特征BF;
F、合并所有子塊的特征BF，得到TBF;
G、利用漢寧窗對TBF進行濾波，得到目標區域ROI的特征RF;
(3)將步驟(2)提取的特征RF進行在線訓練，得到訓練特征TF，如下面的公式(I)所示； TF=(l_a)*TF + a*RF;
a為更新系數(I)
(4)視頻的第(m+1)幀，在步驟(I)的目標區域ROI的附近，生成T個多尺度的候選區域，如圖2和圖3所示，對每個候選區域ROIt提取特征RFt，方法同步驟(2)，其中I彡t彡T，T=3，且實現了 T個候選區域的并行計算；
(5 )將步驟(4)提取的T個特征{RF1，RF2，…，RFt，…，RFt}分別與步驟(3 )的訓練特征TF進行相關運算，得到T個相關系數{Cl，C2，...，Ct，…，Ct}以及T個偏移量{Si，S2，…，St，…，St};
(6)從T個相關系數{&，(:2，...，(^，...，&}中，選擇最優的I個Ci;
(7)如果Ci大于一閾值T1,則用Ci對應的候選區域ROIi的大小以及偏移量Si更新ROI，并將更新后的ROI作為樣本進行在線訓練、更新訓練特征TF(對樣本的訓練與其他的處理并行執行)，如公式(I)，進入步驟(12)，否則進入步驟(8);
(8)如果步驟(6)中的C1小于一閾值T2，則生成ReT個二次候選區域，對每個二次候選區域ReROIt提取特征ReRFt，方法同步驟(2)，其中KtSReT，ReT=4，且實現了ReT個二次候選區域的并行計算，否則進入步驟(12);
(9)將步驟(8)提取的ReT個特征{ReRFhReRFv’ReRFv^ReRFReT}分別與步驟(3)的訓練特征TF進行相關運算，得到ReT個相關系數(ReC1，ReC2，…，ReCt，…，ReCReT}以及ReT個偏移量{ReSi，ReS2，...，ReSt，…,ReSReTl ；
(10)從ReT個相關系數(ReC1，ReC2，…，ReCt，…，ReCReT}中選擇最優的I個ReCi；
(11)如果ReCi大于一閾值T3，則用ReCi對應的ReROIi的大小以及偏移量ReSi更新ROI，并將更新后的ROI作為樣本進行在線訓練、更新訓練特征TF(對樣本的訓練與其他的處理并行執行)，如公式(I)，進入步驟(13)，否則進入步驟(14);
(12)如果Ci大于一閾值Τ4，則用Ci對閾值T1進行濾波更新，如公式(II)，進入步驟(14)，否則進入步驟(14);
?4 = β? * Tl，
Ti= (l_ai)*Ti + ai*Ci;
其中，為比例系數，ai為更新系數(II)
(13)如果ReCi大于一閾值T5，則用ReCi對閾值T3進行濾波更新，如公式(III);
Τδ=β2 * Τ3，
?3 = (l_a2)*T3 + a2*ReCi;
其中，&為比例系數，a2為更新系數(III)
(14)m加1，如果m= M，結束，否則進入步驟(4)。
[0016]以上所述僅為本發明的較佳實施例而已，并不限制本發明，凡在本發明的精神和原則之內所作的的任何修改、等同替換和改進等，均應包括在本發明的保護范圍之內。
【主權項】
1.一種實時的視頻跟蹤方法，其特征在于，包括以下步驟: 1)視頻的第m幀，標出需要跟蹤的目標區域ROI，其中I( m < M，M為視頻的全部幀數； 2)對目標區域ROI提取特征； 3)將步驟2)提取的特征進行在線訓練，得到訓練特征； 4)視頻的第(m+1)幀，在目標區域ROI的附近，生成T個多尺度的候選區域，對每個候選區域RO It提取特征RFt，其中I StST; 5)將T個特征(RF1，RF2，…，RFt，…，RFT}分別與訓練特征進行相關運算，得到T個相關系數{Ci，C2，…，Ct，…，Ct}以及T個偏移量{Si，S2，…，St，…，St}; 6)從T個相關系數{&，&，...，Ct，...，&}中，選擇最優的I個Ci; 7)如果Ci大于一閾值T1,則用Ci對應的候選區域ROIi的大小以及偏移量Si更新ROI，并將更新后的ROI作為樣本進行在線訓練、更新訓練特征，進入步驟12)，否則進入步驟8); 8)如果步驟6)中的C1小于一閾值T2，則生成ReT個二次候選區域，對每個二次候選區域ReROIt提取特征ReRFt，其中I彡tSReT，否則進入步驟12); 9)將ReT個特征(ReRF1，ReRF2，…，ReRFt，…，ReRFReT}分別與訓練特征進行相關運算，得到1^1'個相關系數{1^(:1，1^(:2，."，1^(^，."，1^(:[^}以及1^1'個偏移量{1^31，1^32，...，ReSt，…,ReSReTl ； 10)從ReT個相關系數(ReC1，ReC2，…，ReCt，…，ReCReT}中選擇最優的I個ReCi； 11)如果ReCi大于一閾值T3，則用ReCi對應的ReROIi的大小以及偏移量ReSi更新ROI，并將更新后的ROI作為樣本進行在線訓練、更新訓練特征，進入步驟13)，否則進入步驟14); 12)如果C1大于一閾值T4,則用C1對閾值T1進行濾波更新，進入步驟14)，否則直接進入步驟 14); 13)如果ReCi大于一閾值T5，則用ReCi對閾值T3進行濾波更新； 14)m加1，如果m= M，結束，否則進入步驟4)。2.根據權利要求1所述的一種實時的視頻跟蹤方法，其特征在于，所述的步驟2)為: (I)將目標區域ROI進行特定比例的擴展，得到區域RExpand ； (2 )讀取RExpand內的視頻數據，得到Video ； (3)將Video縮放至特定大小，得到VScale; (4)將VScale分割成P個NX N大小的子塊，其中2彡N彡8; (5 )對每個子塊j提取特征，即執行步驟a-c，其中I < j < P: a、提取梯度特征，即執行步驟1-1V: 1、根據灰度值計算子塊j內各個像素的梯度(包括幅值和角度)； I1、統計梯度直方圖，得到梯度直方圖特征HF; II1、將HF進行歸一化，得到HFN; IV、將HFN進行PCA降維，得到GF； b、提取顏色特征，即執行步驟1-11: 1、根據色度值，將子塊j內的各個像素進行離散化； i1、統計顏色直方圖，得到顏色直方圖特征CF; c、將步驟a提取的特征GF和步驟b提取的特征CF進行合并，得到特征BF; (6 )合并所有子塊的特征BF，得到TBF; (7)利用漢寧窗對TBF進行濾波，得到目標區域ROI的特征。3.根據權利要求1所述的一種實時的視頻跟蹤方法，其特征在于，所述的步驟4)，對每個候選區域提取特征的方法同步驟2)，且實現了各個候選區域的并行計算。4.根據權利要求1所述的一種實時的視頻跟蹤方法，其特征在于，所述的步驟7)，對樣本的訓練與其他的處理并行執行。5.根據權利要求1所述的一種實時的視頻跟蹤方法，其特征在于，所述的步驟8)，對每個二次候選區域提取特征的方法同步驟2)，且實現了各個二次候選區域的并行計算。6.根據權利要求1所述的一種實時的視頻跟蹤方法，其特征在于，所述的步驟11)，對樣本的訓練與其他的處理并行執行。7.根據權利要求1所述的一種實時的視頻跟蹤方法，其特征在于，所述的步驟12)， Τ4=βι * T1，且按照下式對!^進行濾波更新: Ti = (l_ai)*Ti + ai*Ci; 其中，βι為比例系數，ai為更新系數。8.根據權利要求1所述的一種實時的視頻跟蹤方法，其特征在于，所述的步驟13)， T5= T3，且按照下式對T3進行濾波更新: ?3 = (l_a2)*T3 + a2*ReCi; 其中，&為比例系數，a2為更新系數。
【文檔編號】G06T7/20GK106023248SQ201610314297
【公開日】2016年10月12日
【申請日】2016年5月13日
【發明人】翁肇杰, 翟愷
【申請人】上海寶宏軟件有限公司