一種手勢跟蹤過程中手形變化導致跟蹤偏移的修正方法
【專利摘要】本發明公開了一種手勢跟蹤過程中手形變化導致跟蹤偏移的修正方法，包括：利用當前幀圖像信息與前一幀圖像信息做塊匹配，得到兩幀的運動光流；由跟蹤過程得到的目標的位置、大小信息獲得每一幀的初始檢測區域；將初始檢測區域做簡單的閾值膚色分割得到區域分割二值圖；由初始檢測區域設置掌心位置；分別統計以掌心為中心點所有像素的內聚和擴散的加權和；判斷手是否處于握拳和張開狀態，修正對前跟蹤算法得到的跟蹤框進行修正。本發明方法不受限于任何跟蹤算法，靈活地運用到手型變化過程中，及時檢測到因握拳導致的手型變化趨勢，直接對跟蹤結果進行修正，使跟蹤結果更加精確。
【專利說明】一種手勢跟蹤過程中手形變化導致跟蹤偏移的修正方法

【技術領域】
[0001] 本發明涉及計算機視覺跟蹤領域，具體涉及一種手勢跟蹤過程中手形變化導致跟 蹤偏移的修正方法。

【背景技術】
[0002] 基于計算機視覺的手勢跟蹤是目前人機交互的熱點，手勢跟蹤算法日益成熟，常 用的手勢跟蹤算法是針對固定手形，在手的正常漫游情況下，能成功跟蹤到目標。但是，在 實際操作中，由于人手是非剛性物體，在手移動過程中，由于實際系統的操作需要，用戶在 采用握拳手勢進行"確認"選擇過程中，手形發生較大形變。就目前研究技術而言，大部分 手勢跟蹤算法在手的形變不大時，基本能正常跟蹤，而應對手的快速形變時，無論是固定模 板、半監督、在線學習等跟蹤算法，都會出現不同程度的跟蹤偏移或者跟丟的情況。目前大 部分在線更新樣本算法雖然能部分解決跟蹤過程中的形變問題，但是，如圖1，仍然解決不 了握拳形變導致跟蹤框下移的問題。為了克服目前手勢跟蹤算法中的不足，本發明提出了 一種手勢跟蹤過程中由握拳形變導致跟蹤偏移的修正方法。


【發明內容】

[0003] 本發明的目標在于克服現有的手勢跟蹤算法在實際應用中存在的不足，提供了一 種手勢跟蹤過程中手形變化導致跟蹤偏移的修正方法，具體技術方案如下。
[0004] 一種手勢跟蹤過程中手形變化導致跟蹤偏移的修正方法，包括如下步驟：
[0005] 獲取幀圖像，利用跟蹤算法得到目標的跟蹤框作為算法的輸入圖像塊；
[0006] 利用當前幀輸入圖像與前一幀的圖像得到光流；
[0007] 對所得光流矢量圖統計光流信息和光流分布特征；
[0008] 根據統計結果和分布特征預測手形變化趨勢；
[0009] 結合手的整體運動速度，得到當前人手所做動作，根據判斷策略修正最終的跟蹤 結果。
[0010] 在其中一個實施例中，將當前幀的跟蹤結果所在敏感區域與前一幀圖像對應區域 做稠密光流，得到運動目標的光流矢量圖。該方法能有效減少光流算法的運算量，得到運動 目標的光流矢量圖。
[0011] 在其中一個實施例中，所述對所得光流矢量圖統計光流信息和光流分布特征，包 括以下步驟：
[0012] (a)提取光流矢量圖中的速度大小值；
[0013] (b)對速度圖做二值化處理；
[0014] (c)計算速度二值化圖像的重心、總面積"半徑"；
[0015] ⑷將速度二值化圖像的重心、總面積"半徑"與實際的光流團分布做比較，分析速 度二值化圖的光流分布特點；
[0016] (e)根據分布特點判斷手是否處于穩定狀態。
[0017] 進一步的，所述統計光流信息和光流分布特征，根據統計結果和分布特征判斷手 當前所處的狀態，具體包括：提取光流矢量圖中的速度大小值，對速度圖做二值化處理，計 算速度二值化圖像的重心、總面積"半徑"，并與實際二值圖像中的光流團分布做比較，分析 速度二值化圖的光流分布特點，根據分布特點判斷手是否處于穩定狀態。
[0018] 進一步的，所述預測握拳張開趨勢具體包括：對所得到的光流矢量圖，與膚色分割 后的二值圖像相與，得到運動的膚色光流圖，對該圖進行光流信息統計，以掌心為中心點， 統計光流的內聚和發散程度，并以光流的大小作為角度的加權值，根據光流內聚值和發散 值的比較初步判斷握拳、拳頭和張開狀態。
[0019] 進一步的，所述手的整體運動速度的獲得過程是：在跟蹤過程中，保留當前幀的前 五幀跟蹤結果，利用前五幀的跟蹤結果與當前幀的跟蹤框所處位置，計算得到當前幀和前 四幀中每一幀手的整體運動速度。
[0020] 進一步的，所述的統計光流的內聚和發散程度包括：根據跟蹤結果確定手的掌心 位置；以掌心的位置為中心，設置敏感區域上每個像素上光流內聚和擴散的閾值；分別統 計敏感區域中光流的向內聚攏和向外擴散的像素及其速度加權值的和。
[0021] 進一步的，所述的光流分布特點的分析過程包括：
[0022] 提取光流矢量圖中的速度大小值，對速度圖做二值化處理；
[0023] 計算圖像中所有非零像素點的重心坐標cen ;
[0024] 標記二值化速度圖像各個部分連通域i，并計算各個連通域的重心坐標⑶叫；
[0025] 累加所有連通域面積的值sum，將sum作為一個未知圓的總面積，并計算其半徑；
[0026] 計算各個連通域的重心坐標cerii與半徑的方差vai^之平均值var ;
[0027] 根據var的值與跟蹤框的大小的比值與所有非零像素點的重心坐標cen判斷光流 分布的特點。
[0028] 進一步的，所述握拳狀態判斷方法為：在用戶的手處于穩定狀態的前提下，若上一 幀的最終狀態為握拳或者速度停下的手掌狀態，且預測握拳張開趨勢中的所述初步判斷結 果為握拳。
[0029] 進一步的，所述的拳頭狀態判斷方法為：在用戶的手處于穩定狀態的前提下，若上 一幀的最終狀態為拳頭狀態、握拳狀態或者拳頭移動狀態，且預測握拳張開趨勢中的所述 初步判斷結果為非握拳非張開狀態。
[0030] 進一步的，其特征在于所述的張開狀態判斷方法：張開狀態判斷方法：在用戶的 手處于穩定狀態的前提下，若上一幀的最終狀態為張開或者拳頭的狀態，且預測握拳張開 趨勢中的初步判斷結果為張開。
[0031] 在其中一個實施例中，所述的拳頭狀態是由拳頭檢測器檢測得到，拳頭檢測器是 由拳頭正樣本，經過提取特征，訓練得來。
[0032] 在其中一個實施例中，所述的手掌狀態是由手掌檢測器檢測得到，手掌檢測器是 由手掌正樣本，經過提取特征，訓練得來。
[0033] 本發明一種手勢跟蹤過程中握拳導致跟蹤偏移的修正方法與現有技術相比，具有 如下優點和技術效果：
[0034] (1)本發明方法復雜度低，在實際應用中消耗的資源少。
[0035] (2)本發明對一般的手勢跟蹤算法具有通用性，不受跟蹤算法的限制，可以直接使 用。
[0036] (3)本發明采用光流法，結合膚色分割，劃分運動中的膚色區域，減少背景干擾和 統計誤差，能有效修正因人手非剛性特點帶來的跟蹤偏移。
[0037] (4)本發明結合在實際應用中人手操作過程在空間的分布特點做相應的判斷策 略，修正因人的自然行為習慣所致的跟蹤偏移。

【專利附圖】

【附圖說明】
[0038] 圖1是握拳動作導致跟蹤框下移示意圖。
[0039] 圖2是方法的整體流程圖。
[0040] 圖3a、圖3b是模擬光流示意圖。

【具體實施方式】
[0041] 以下結合附圖對本發明的具體實施方法作進一步說明，但本發明的實施和保護不 限于此，需指出的是，以下若有未特別詳細說明的符號和過程，均是本領域技術人員可參照 現有技術實現的。
[0042] 如圖2,本發明提供一種手勢跟蹤過程中手形變化導致跟蹤偏移的修正方法，利用 當前幀輸入圖像與前一幀的圖像得到光流（如圖3a、圖3b)，對所得光流矢量圖統計光流信 息和光流分布特征，根據統計結果和分布特征預測手形變化趨勢，結合手的整體運動速度， 根據判斷策略修正最終的跟蹤結果。該方法的大體步驟如下：
[0043] (1)攝像頭采集到圖像序列，并保存當前幀圖像信息和前一幀圖像信息；
[0044] (2)利用當前幀圖像信息與前一幀圖像信息做光流算法，得到兩幀的運動光流；
[0045] (3)由跟蹤過程得到的目標的位置、大小信息獲得每一幀的初始檢測區域；
[0046] (4)將初始檢測區域做簡單的閾值膚色分割得到區域分割二值圖，提取運動中的 膚色區域；
[0047] (5)分析光流速度矢量圖的分布特點；
[0048] (6)選定初始檢測區域的中心點，分別統計所有像素的內聚和擴散加權值的總 和；
[0049] (7)根據判斷結果，對先前跟蹤算法得到的跟蹤框進行修正，記錄當前幀的跟蹤結 果。
[0050] 其中，所述的步驟（2)計算兩幅圖像的運動光流，將當前幀的跟蹤結果所在敏感 區域與前一幀圖像對應區域做稠密光流，該方法能有效減少光流算法的運算量，得到運動 目標的光流矢量圖，包括如下步驟：
[0051] (a)在跟蹤過程中，攝像頭不斷采集圖像序列，保存當前幀及其前一幀的圖像；
[0052] (b)根據當前幀的跟蹤算法得到的跟蹤結果截取待處理的敏感區域curjmg，同 時對前一巾貞圖像截取相應的區域pre_img ;
[0053] (c)分別將 cur_img、pre_img 轉換為灰度圖像 cur_gray、pre_gray ;
[0054] (d)利用稠密光流算法，由cur_gray、pre_gray得到兩幅圖像的運動光流f low ;
[0055] 其中，所述的步驟（4)中提取運動中的運動中的膚色區域包括如下步驟：
[0056] (a)將敏感區域中的圖像由RGB顏色空間轉換成YCrCb顏色空間（這里不考慮亮 度的影響，只考慮二維空間CrCb):
[0057] RGB色彩空間與YcrCb (YUV)色彩空間的轉換公式如下：
[0058] Y = 0. 299R+0. 587G+0. 114B
[0059] U = -0. 147R-0. 289G+0. 436B
[0060] V = 0· 615R-0. 515G-0. 100B
[0061] R = Y+1. 14V
[0062] G = Y-0. 39U-0. 58V
[0063] B = Y+2. 03U
[0064] (b)使用簡單的參數模型對膚色進行聚類描述，定義符合以下條件的色彩為膚 色：
[0065] 130 < Cr < 170
[0066] 85 < Cb < 130
[0067] (c)對圖像中符合膚色閾值范圍的像素進行二值化處理，得到圖像的膚色掩膜 skin_mask〇
[0068] 將運動光流flow與膚色掩膜skin_mask相與，得到膚色區域運動光流skin_flow ; 將其進行二值化處理得到二值化圖像fl〇w_seg。
[0069] 所述的步驟（5)中分析光流速度矢量圖的分布特點包括如下步驟：
[0070] (a)提取二值化圖像flow_seg的連通閾，并統計其非零區域的面積大小area ;
[0071] (b)逐個標記連通閾的重心Ceni
[0072] (c)求所有連通閾中心的平均中心位置；
[0073] (d)計算所有連通閾中心cerii到平均中心位置的歐氏距離vai^的平均值var ;
[0074] (e)根據求圓面積公式S = π r2,求出面積為area的圓的半徑radius ;
[0075] (f)根據distance與radius的比值與閾值threshold的關系，判斷手是否處于穩 定狀態。
[0076] 所述步驟（6)中統計光流內聚和擴散的方法包括以下步驟：
[0077] (a)跟蹤初始跟蹤框確定掌心位置為中心點；
[0078] (b)膚色區域運動光流skin_flow中每一個像素點與中心點連線，以該線段的法 線方向作為閾值，在法線方向向中心一側的角度范圍為內聚范圍，相反一側為擴散范圍； [0079] (c)根據閾值劃分每一個像素點上對應的光流速度方向為內聚或者擴散類型，并 以速度大小作為加權，再按類型分別求和，得到內聚總和veil和擴散總和vel2 ;
[0080] (d)根據實驗情況設置大小閾值thresholds和thresholdmin ;
[0081] (e)內聚總和veil和擴散總和vel2的比值為ratio,判斷標準如下：
[0082]

【權利要求】
1. 一種手勢跟蹤過程中手形變化導致跟蹤偏移的修正方法，其特征在于包括：獲取幀 圖像，利用當前幀輸入圖像與前一幀的圖像得到光流，對所得光流矢量圖統計光流信息和 光流分布特征，根據統計結果和分布特征判斷手當前所處的狀態及預測握拳張開趨勢，結 合手的整體運動速度，得到當前人手所做動作，根據判斷策略修正最終的跟蹤結果。
2. 如權利要求1所述的一種手勢跟蹤過程中手形變化導致跟蹤偏移的修正方法，其特 征在于將當前幀的跟蹤結果所在敏感區域與前一幀圖像對應區域做稠密光流，得到運動目 標的光流矢量圖。
3. 如權利要求1所述的一種手勢跟蹤過程中手形變化導致跟蹤偏移的修正方法，其特 征在于所述統計光流信息和光流分布特征，根據統計結果和分布特征判斷手當前所處的狀 態，具體包括：提取光流矢量圖中的速度大小值，對速度圖做二值化處理，計算速度二值化 圖像的重心、總面積"半徑"，并與實際二值圖像中的光流團分布做比較，分析速度二值化圖 的光流分布特點，根據分布特點判斷手是否處于穩定狀態。
4. 如權利要求1所述的一種手勢跟蹤過程中手形變化導致跟蹤偏移的修正方法，其特 征在于所述預測握拳張開趨勢具體包括：對所得到的光流矢量圖，與膚色分割后的二值圖 像相與，得到運動的膚色光流圖，對該圖進行光流信息統計，以掌心為中心點，統計光流的 內聚和發散程度，并以光流的大小作為角度的加權值，根據光流內聚值和發散值的比較初 步判斷握拳、拳頭和張開狀態。
5. 如權利要求1所述的一種手勢跟蹤過程中手形變化導致跟蹤偏移的修正方法，其特 征在于所述手的整體運動速度的獲得過程是：在跟蹤過程中，保留當前幀的前五幀跟蹤結 果，利用前五幀的跟蹤結果與當前幀的跟蹤框所處位置，計算得到當前幀和前四幀中每一 幀手的整體運動速度。
6. 如權利要求4所述的一種手勢跟蹤過程中手形變化導致跟蹤偏移的修正方法，其特 征在于所述的統計光流的內聚和發散程度包括： 根據跟蹤結果確定手的掌心位置； 以掌心的位置為中心，設置敏感區域上每個像素上光流內聚和擴散的閾值； 分別統計敏感區域中光流的向內聚攏和向外擴散的像素及其速度加權值的和。
7. 如權利要求3所述的一種手勢跟蹤過程中手形變化導致跟蹤偏移的修正方法，其特 征在于所述的光流分布特點的分析過程包括： 提取光流矢量圖中的速度大小值，對速度圖做二值化處理； 計算圖像中所有非零像素點的重心坐標cen ; 標記二值化速度圖像各個部分連通域i，并計算各個連通域的重心坐標⑶叫； 累加所有連通域面積的值sum，將sum作為一個未知圓的總面積，并計算其半徑； 計算各個連通域的重心坐標cerii與半徑的方差vai^之平均值var ; 根據var的值與跟蹤框的大小的比值與所有非零像素點的重心坐標cen判斷光流分布 的特點。
8. 如權利要求4所述的一種手勢跟蹤過程中手形變化導致跟蹤偏移的修正方法，其特 征在于所述握拳狀態判斷方法為：在用戶的手處于穩定狀態的前提下，若上一幀的最終狀 態為握拳或者速度停下的手掌狀態，且預測握拳張開趨勢中的所述初步判斷結果為握拳。
9. 如權利要求4所述的一種手勢跟蹤過程中手形變化導致跟蹤偏移的修正方法，其特 征在于所述的拳頭狀態判斷方法為：在用戶的手處于穩定狀態的前提下，若上一幀的最終 狀態為拳頭狀態、握拳狀態或者拳頭移動狀態，且預測握拳張開趨勢中的所述初步判斷結 果為非握拳非張開狀態。
10.如權利要求4所述的一種手勢跟蹤過程中手形變化導致跟蹤偏移的修正方法，其 特征在于其特征在于所述的張開狀態判斷方法：張開狀態判斷方法：在用戶的手處于穩定 狀態的前提下，若上一幀的最終狀態為張開或者拳頭的狀態，且預測握拳張開趨勢中的初 步判斷結果為張開。
【文檔編號】G06F3/01GK104143195SQ201410318691
【公開日】2014年11月12日 申請日期:2014年7月4日 優先權日:2014年7月4日
【發明者】徐向民, 裘索, 羅雅愉 申請人:華南理工大學