面向增強現實輔助維修系統平面目標粒子濾波跟蹤的狀態觀測方法
【專利摘要】本發明涉及一種面向增強現實輔助維修系統平面目標粒子濾波跟蹤的狀態觀測方法，包括：a、設定跟蹤區域，作為目標參考模板，獲取其m×1的紋理特征和灰度均值特征；b、采集當前幀場景視頻，進入跟蹤過程，包括粒子選擇、狀態轉移、狀態觀測和狀態估計等步驟。本發明通過觀測似然函數來計算粒子權重均值，目標參考特征向量的更新則綜合考慮初始目標參考特征向量以及前一幀所采用的目標參考特征向量和當前幀所采用的目標參考特征向量的影響因素，由此解決了目標遮擋后又重新出現后無法繼續跟蹤的問題，提高了增強現實輔助維修系統對平面目標跟蹤的魯棒性和實時性。
【專利說明】
面向増強現實輔助維修系統平面目標粒子濾波跟蹤的狀態觀 測方法
技術領域
[0001] 本發明設及一種計算機視覺算法，具體地說是一種面向增強現實輔助維修系統平 面目標粒子濾波跟蹤的狀態觀測方法。
【背景技術】
[0002] 增強現實技術將虛擬提示信息疊加到真實場景中，在復雜裝備維修中為用戶提供 了直觀靈活的操作提示，并可為那些不熟悉復雜裝備檢測維修的用戶提供準確實時的維修 幫助，對于縮短裝備維護周期、提高維修效率、降低成本具有重要意義。
[0003] 跟蹤維修對象區域并能在用戶頭部發生相對運動時準確估計攝像機姿態，在增強 現實輔助維修系統中被稱作跟蹤注冊技術。維修對象區域跟蹤是攝像機姿態估計的基礎， 通過局部區域跟蹤而不是全場景跟蹤可有效提高跟蹤注冊的實時性;根據攝像機與維修對 象之間的相對運動關系，跟蹤注冊可分為由外而內的跟蹤和由內而外的跟蹤。較為常用的 方法包括基于特征點、基于輪廓和基于核的方法。由于維修對象多為人造物，存在大量的規 則平面，為實現基于單應性矩陣的攝像機姿態估計提供了便利條件，但人造物又普遍存在 特征點信息量少、特征提取不充分等問題，上述=種方法對跟蹤過程中維修對象外觀顯著 改變、背景內容改變及光照遮擋等情況存在局限性，迫切需要采用多特征信息融合、自動更 新匹配模板等技術解決目標遮擋、視角變化和維修對象形態變化時的健壯性跟蹤及跟蹤的 自適應修正等問題。
[0004] 基于壓縮感知理論的目標跟蹤方法是一種較新方法，其原理為用壓縮感知特征描 述背景與目標，迭代尋找與標準目標特征最相似的候選區域，其相似度判斷依托樸素貝葉 斯分類器。運個跟蹤框架采用隨機測量矩陣進行特征提取，對隨機測量矩陣進行改進可實 現多特征提取，實時性較高，但其迭代過程采用遍歷查找方式，未充分利用運動目標的動力 學特性。當目標運動速度較快或存在部分遮擋時，跟蹤結果易發生偏移甚至丟失。雖然可W 通過擴大捜索范圍減小目標丟失率，但又會極大的損失實時性。粒子濾波跟蹤依賴目標狀 態轉移模型和重采樣技術對目標狀態進行預測，其計算主要消耗在似然函數上，因此在粒 子濾波框架下與壓縮感知特征提取相結合進行目標跟蹤，可避免大范圍的捜索過程，進一 步提高目標對象跟蹤的實時性。在粒子濾波框架下，每個粒子的觀測模型和參考模板與候 選目標之間的相似度區分能力直接影響跟蹤精度。現有的粒子濾波跟蹤中的特征主要采用 統計特征計算顏色直方圖或方向梯度直方圖，通過求化attacharyya距離計算粒子代表的 參考目標和候選目標之間的相似度，運種方法魯棒性和實時性均不高。

【發明內容】

[0005] 本發明的目的就是提供一種面向增強現實輔助維修系統平面目標粒子濾波跟蹤 的狀態觀測方法，W解決傳統觀測方法魯棒性低和實時性不高的問題。
[0006] 本發明是運樣實現的：一種面向增強現實輔助維修系統平面目標粒子濾波跟蹤的 狀態觀測方法，包括W下步驟：
[0007] a、初始化:設定跟蹤區域，作為目標參考模板，利用mXn的壓縮感知隨機測量矩陣 獲取其mXl的紋理特征和灰度均值特征，作為目標參考特征向量，隨機采樣N個粒子S = {(S。，O n) I n二 1，. . .，N}，初始化其權重 O = 1/N;
[000引b、采集當前帖場景視頻，進入跟蹤過程，包括：
[0009] b-1、粒子選擇:對t-1時刻的所有粒子按照歸一化權重值從大到小進行排序，將位 置靠前的粒子歸一化權重值與N乘積的四舍五入整數值作為新的粒子數量，并將該權重值 賦予運些粒子，依次遍歷所有粒子直到得到N個新的粒子；
[0010] b-2、狀態轉移:選擇系統狀態轉移方程為二階自回歸模型，根據t-2時刻和t-1時 刻的粒子狀態預測t時刻的粒子狀態；
[0011] b-3、狀態觀測:根據t-1時刻由紋理特征和灰度均值特征相似度分別計算得到粒 子權重均值和t時刻的紋理特征和灰度均值特征相似度，再計算粒子所代表的候選目標區 域與目標參考模板之間的觀測似然函數，得出粒子的權重值;根據初始目標參考特征向量、 t-1時刻所采用的目標參考特征向量和t時刻所采用的目標參考特征向量更新t+1時刻的目 標參考特征向量；
[0012] b-4、狀態估計:選擇權重值最大的粒子所代表的狀態作為系統狀態的最優估計， 即為跟蹤結果；
[OOU] b-5、如果用戶選擇維修步驟完成，則退出；否則回到步驟b-1，進入下一循環過程。 [0014]本發明的步驟b-3中的粒子權重值的計算方法包括W下步驟：
[001引 b-3-l、利用mXn的壓縮感知隨機現慢矩陣，分別獲取待跟蹤平面目標和候選跟蹤 區域mXl的紋理特征和灰度均值特征，W此作為候選目標特征向量，并依據下列的公式（1) 對m X 1的目標參考特征向量與候選目標特征向量進行L2范數歸一化：
[0016]
(1);
[0017] b-3-2、巧惦h列的公式(2)計算目標參考特征向量與候選目標特征向量中每個元 素之差的絕對估是否在化許的闊值T的范圍內：
[001引
（2)
[0019] 其中，《為目標參考特征向量的第i個元素，Vi為候選目標特征向量的第i個元素；
[0020] b-3-3、依據下列的公式(3)統計f(i) = l出現的比例，得到目標參考特征向量與候 選目柄賠飾尚畳6々巧化j暗為；
[0021] C3>
[0022] b-3-4、由計算粒子代表的候選目標區域與目標參考模板之間的觀測似然函數，依 據下列的公式(4)計算得出粒子權重值：
[0023]
(4)
[0024] 其中，
為第k個粒子的候選目標紋理特征向量與參考模板紋理特 征向量之間的相似屆
：為第k個粒子的候選目標灰度均值特征向量與參考 模板灰度均值特征向量之間的相似度；P(ZijJTf)為t時刻第k個粒子的權重值； < A(Z,J Xy) >為*-1時刻根據紋理特征計算得到的所有粒子權重均值；< A(z,_, I X,_|) > 為t-1時刻根據灰度均值特征計算得到的所有粒子權重均值。
[0025] 本發明中的粒子權重值是由計算粒子代表的候選目標區域與目標參考模板之間 的觀測似然函數得出，在粒子濾波跟蹤中，粒子代表著目標狀態，即目標在圖像中的坐標位 置及區域，粒子的權重值越大，表明粒子代表的區域為目標的概率最高。
[0026] 本發明的步驟b-3中的t+1時刻的目標參考特征向量的更新方法包括W下步驟：
[0027] b-3-5、依據下列的公式(5)計算更新速度因子：
[002引
（.5')'
[0029] 其中，Ht為第t時刻平面目標與初始時刻平面目標之間的單應性矩陣，Ht-I為第t-1 時刻平面目標與初始時刻平面目標之間的單應性矩陣；
[0030] b-3-6、依據下列的公式(6)和公式(7)對t+1時刻的目標特征向量進行更新：
[0031] 祐）
[0032] 訂)
[0033] 具甲，Vo刃徹賄目稱寥考向量，Vt為當前帖目標參考特征向量，Vt+i為下一帖目標參 考特征向量，I-Po, t-1表示初始目標參考特征向量與t-1時刻目標參考特征向量的相似度，1- Pt-I,康示t-1時刻目標參考特征向量與t時刻目標參考特征向量的相似度，ii為更新速度因 子。
[0034] 本發明通過觀測似然函數來計算粒子權重均值，其方式簡潔，可有效提高跟蹤的 實時性；同時，采用了兩個特征相互補償，可有效提高跟蹤的魯棒性。本發明中目標參考特 征向量的更新方法綜合考慮初始目標參考特征向量，前一帖所采用的目標參考特征向量和 當前帖所采用的目標參考特征向量的影響因素，作為更新下一帖目標參考特征向量的依 據，同時考慮目標形態變化的大小來改變更新速度，可解決目標遮擋后又重新出現后無法 繼續跟蹤等問題，進一步提高了平面目標粒子濾波跟蹤的魯棒性。
[0035] 本發明提高了增強現實輔助維修系統對平面目標跟蹤的魯棒性和實時性。
【附圖說明】
[0036] 圖I是壓縮感知多特征提取示意圖。
[0037] 圖2是基于本發明的跟蹤效果圖。
[0038] 圖3是基于本發明的跟蹤算法的X向跟蹤誤差圖。
[0039] 圖4是基于本發明的跟蹤算法的Y向跟蹤誤差圖。
【具體實施方式】
[0040] 本實施例是在一個視頻文件中實現對電路板目標的跟蹤，硬件平臺為Intel Core 巧，4GB DDR3 SDRAM,軟件環境為Windows 8.1 64 bitsW平面目標中屯、在視頻場景中的坐 標
作為系統的狀態變量，選擇系統狀態轉移方程為二階自回歸模型：
[0041 ] Xt = AXt-i+BXt-2+vt
[0042] 參數設置包括：粒子數目N=100，A = 20，T = 0.002，m=50，at=o = 0.5，A=[2,2]，B = [!,!]〇
[0043] 本發明平面目標粒子濾波跟蹤的狀態觀測方法分為W下步驟：
[0044] a、初始化:設定跟蹤區域，作為目標參考模板，利用mXn的壓縮感知隨機測量矩陣 獲取其mXl的紋理特征和灰度均值特征，作為目標參考特征向量，隨機采樣N個粒子S = {(S。，〇n) In=I,. . . ,N}，初始化其權重 O =1/N;
[0045] b、采集當前帖場景視頻，進入跟蹤過程，包括：
[0046] b-1、粒子選擇:對t-1時刻的所有粒子按照歸一化權重值從大到小進行排序，將位 置靠前的粒子歸一化權重值與N乘積的四舍五入整數值作為新的粒子數量，并將該權重值 賦予運些粒子，依次遍歷所有粒子直到得到N個新的粒子。
[0047] b-2、狀態轉移:選擇系統狀態轉移方程為二階自回歸模型，根據t-2時刻和t-1時 刻的粒子狀態預測t時刻的粒子狀態。
[004引b-3、狀態觀測:根據t-1時刻由紋理特征和灰度均值特征相似度分別計算得到粒 子權重均值和t時刻的紋理特征和灰度均值特征相似度，再計算粒子所代表的候選目標區 域與目標參考模板之間的觀測似然函數，得出粒子的權重值;根據初始目標參考特征向量、 t-1時刻所采用的目標參考特征向量和t時刻所采用的目標參考特征向量更新t+1時刻的目 標參考特征向量。
[0049] b-4、狀態估計:選擇權重值最大的粒子所代表的狀態作為系統狀態的最優估計， 即為跟蹤結果。
[0050] b-5、如果用戶選擇維修步驟完成，則退出；否則回到步驟b-1，進入下一循環過程。
[0051] 本發明的方法應用于步驟b-3中的狀態觀測的具體過程是：
[0052] 壓縮跟蹤（CompreSS ive Tracking , CT)算法利用壓縮感知（CompreSS ive Sensing, CS)理論對高維化rr-1化e特征進行降維。對于一個XGRnxi的原始特征，可由V = PX 投影得到壓縮后的特征VGRmxi。其中，PGRmXn(m<<n)為特征提取矩陣。該壓縮過程在候 選目標區域W平均概率隨機選取2~4的圖像塊，特征提取矩陣P的非零元素值符號在V'和 之間等概率隨機選取，得到的特征值即為幾塊區域的加權和。當非零元素符號全部為 V'或時，表現為灰度均值特征；當非零元素同時存在V'和時，表現為圖像塊的差異 性即紋理特征。多特征壓縮跟蹤對特征提取矩陣進行了改進。首先利用壓縮跟蹤的方法生 成特征提取矩陣Pl，然后再根據Pl生成新的特征提取矩陣P2,使得P2提取的灰度均值特征占 71%，紋理特征占29%。其通過對特征提取矩陣Pi的非零元素符號實施變號得到P2,變號規 則為：當S個元素符號全部為V'或全部為時，變為當S個元素符號既存在V'也 存在時，變為"+++"。運樣，在增加很小計算量的前提下，使得壓縮后的特征最終表現為 紋理與灰度均值特征互補的雙特征。W=個圖像塊為例，P2生成過程如圖1所示。
[0053] 對視頻文件中的電路板目標的粒子權重值的計算方法是：
[0054] 首先，利用上述方法中mXn的壓縮感知隨機測量矩陣分別獲取待跟蹤平面目標和 候選跟蹤區域mX 1的紋理特征和灰度均值特征，W此作為目標參考特征向量和候選目標特 征向量，并依據下列公式（1)對m X 1的目標參考特征向量與候選目標特征向量進行L2范數 歸一化，
[0化5]
(1)
[0056]其次，依據下列公式(2)計算目標參考特征向量與候選目標特征向量中每個元素 之差的絕對值是否在允許的闊值T的范圍內，
[0化7]
(勺）
[0化引其中，V,''為目標參考特征向量的第i個元素，Vi為候選目標特征向量的第i個元素。
[0059] 再次，依據下列公式(3)統計f(i) = l出現的比例，得到目標參考特征向量與候選 目標特征向量的巧似麼為：
[0060]
(3)
[0061 ]最后，由計算粒子代表的候選目標區域與目標參考模板之間的觀測似然函數，依 據下列的公式(4)計算得出粒子權重值： - .....
[0062] C 4) >
[0063] :選目標紋理特征向量與參考模板紋理特 征向量 ，粒子的候選目標灰度均值特征向量與參 考模板灰度均值特征向量之間的相似程度；P(2,1 乂f)為t時刻第k個粒子的權重值； <氣按_1巧_1)>為*-1時刻根據紋理特征計算得到的所有粒子權重均值; < 拚(餐,戰_1) > 為t-1時刻根據灰度均值特征計算得到的所有粒子權重均值。
[0064] 目標參考特征向量的更新方法包括W下步驟：
[0065] 首先，依據下列公式(5)計算更新速度因子：
[0066]
(5)
[0067] 其中，Ht為第t時刻平面目標與初始時刻平面目標之間的單應性矩陣，Ht-I為第t-1 時刻平面目標與初始時刻平面目標之間的單應性矩陣。
[0068] 其次.化據下列公擊(R)和公式(7)對目標特征向量進行更新：
[0069] (6)
[0070] 訊
[0071 ]其中，Vo為初始目標參考向量，Vt為當前帖目標參考特征向量，Vt+i為下一帖目標參 考特征向量，康不初始目標參考特征向量與t-1時刻目標參考特征向量的相似度，1- Pt-I,康示t-1時刻目標參考特征向量與t時刻目標參考特征向量的相似度，y為更新速度因 子。
[0072] 如圖2所示的跟蹤效果，電路板視頻包括了電路板平移、旋轉、翻轉和尺度變化等 復雜運動過程，Wx和y方向的跟蹤誤差小于15像素為標準，分別統計基于顏色直方圖的粒 子濾波跟蹤算法、壓縮跟蹤算法和基于本發明的跟蹤算法在電路板視頻中電路板翻轉前和 在全部電路板視頻帖的跟蹤成功率如表1所示，前200帖的跟蹤誤差如圖3、圖4所示。
[0073] 表1:跟蹤成功率對比表
[0074]
[0075] 由巧1和圏3、圏4W見，基十劇巧直萬圏的粒于濾汲跟碌萬巧巧巧跟碌精巧上較差 導致其成功率較低，基于本發明的跟蹤算法與壓縮跟蹤算法在目標形態未發生重大變化時 跟蹤性能相當，但因其在目標重新出現后能夠繼續跟蹤目標，在全部視頻帖上統計跟蹤成 功率則比壓縮跟蹤算法高。
[0076] 針對電路板視頻，=種算法實時性比較結果見表2。
[0077] 表2:跟蹤算法實時性對比表 [007引
[0079]由表2可見，在640X480的視頻中，當粒子數為100時，基于本發明的跟蹤算法比基 于顏色直方圖的粒子濾波跟蹤算法和壓縮跟蹤算法實時性均高，證明了本發明的發明能夠 提高平面目標跟蹤的實時性。
【主權項】
1. 一種面向增強現實輔助維修系統平面目標粒子濾波跟蹤的狀態觀測方法，其特征 是，包括以下步驟： a、 初始化:設定跟蹤區域，作為目標參考模板，利用mXn的壓縮感知隨機測量矩陣獲取 其mXl的紋理特征和灰度均值特征，作為目標參考特征向量，隨機采樣N個粒子S={(s n， ωη) |n=l, . . .，N}，初始化其權重 ω =1/N; b、 采集當前幀場景視頻，進入跟蹤過程，包括： b-1、粒子選擇:對t-Ι時刻的所有粒子按照歸一化權重值從大到小進行排序，將位置靠 前的粒子歸一化權重值與N乘積的四舍五入整數值作為新的粒子數量，并將該權重值賦予 這些粒子，依次遍歷所有粒子直到得到N個新的粒子； b-2、狀態轉移:選擇系統狀態轉移方程為二階自回歸模型，根據t-2時刻和t-Ι時刻的 粒子狀態預測t時刻的粒子狀態； b-3、狀態觀測：根據t-Ι時刻由紋理特征和灰度均值特征相似度分別計算得到粒子權 重均值和t時刻的紋理特征和灰度均值特征相似度，再計算粒子所代表的候選目標區域與 目標參考模板之間的觀測似然函數，得出粒子的權重值;根據初始目標參考特征向量、t-1 時刻所采用的目標參考特征向量和t時刻所采用的目標參考特征向量更新t+1時刻的目標 參考特征向量； b_4、狀態估計:選擇權重值最大的粒子所代表的狀態作為系統狀態的最優估計，即為 跟蹤結果； b-5、如果用戶選擇維修步驟完成，則退出；否則回到步驟b-Ι，進入下一循環過程。2. 根據權利要求1所述的面向增強現實輔助維修系統平面目標粒子濾波跟蹤的狀態觀 測方法，其特征是，步驟b-3中的粒子權重值的計算方法包括以下步驟： b-3-l、利用mXn的壓縮感知隨機測量矩陣，分別獲取待跟蹤平面目標和候選跟蹤區域 mXl的紋理特征和灰度均值特征，以此作為候選目標特征向量，并依據下列的公式（1)對m X 1的目標參考特征向量與候選目標特征向量進行L2范數歸一化：(1): b-3-2、依據下列的公式(2)計算目標參考特征向量與候選目標特征向量中每個元素之 差的絕對值是否在允許的閾值τ的范圍內：(2) 其中，< 為目標參考特征向量的第i個元素，V1為候選目標特征向量的第i個元素；b-3-3、依據下列的公式(3)統計f (i) = 1出現的比例，得到目標參考特征向量與候選目 標特征向量的相似度1 (3) b-3-4、由計算粒子代表的候選目標區域與目標參考模板之間的觀測似然函數，依據下 列的公式(4)計算得出粒子權重值： (4) 其c 卜粒子的候選目標紋理特征向量與參考模板紋理特征向量之間的： 3第k個粒子的候選目標灰度均值特征向量與參考模板灰 度均值特征向量之間的相似度I Zf)為t時刻第k個粒子的權重值；t-i時刻根據紋理特征計算得到的所有粒子權重均值；< Λ(ζ,, I>為卜1時刻根據灰度 均值特征計算得到的所有粒子權重均值。3.根據權利要求1所述的面向增強現實輔助維修系統平面目標粒子濾波跟蹤的狀態觀 測方法，其特征是，步驟b-3中的t+Ι時刻的目標參考特征向量的更新方法包括以下步驟： b-3-5、依據下列的公式(5)計算更新速度因子：(5 ) 其中，Ht為第t時刻平面目標與初始時刻平面目標之間的單應性矩陣，為第t-Ι時刻 平面目標與初始時刻平面目標之間的單應性矩陣；b-3-6、依據下列的公忒(fi)和公忒（7)對t.+l時刻的目標特征向量進行更新： (6) (T). 其中，Vo為初始目標參考向量，Vt為當前幀目標參考特征向量，Vt+i為下一幀目標參考特 征向量，l_PQ,t-i表示初始目標參考特征向量與t-Ι時刻目標參考特征向量的相似度，1-Pt-i,t表示t-Ι時刻目標參考特征向量與t時刻目標參考特征向量的相似度，μ為更新速度因 子。
【文檔編號】G06T7/20GK106023256SQ201610339337
【公開日】2016年10月12日
【申請日】2016年5月19日
【發明人】王偉明, 張勇, 趙守偉, 何亞軒, 閆德立
【申請人】石家莊鐵道大學