基于機器視覺的不規(guī)則形狀物體的計數方法與裝置制造方法
【專利摘要】本發(fā)明公開了一種基于機器視覺的不規(guī)則形狀物體的計數方法，包括以下步驟：建立模板：利用不規(guī)則形狀物體的模板圖像的邊緣點信息建立模板信息表；待檢測圖像預處理：記錄待檢測圖像的邊緣點坐標和梯度值信息，后期通過查找模板信息表來重定位目標物體的參考點位置；統(tǒng)計：利用模板信息表中的數據推算并統(tǒng)計參考點信息，根據匹配數，找出最佳的目標物體。利用廣義霍夫變換能夠快速準確的學習不規(guī)則形狀物體的輪廓信息，在圖像計數階段，利用 GPU 可以加速算法中對輪廓點信息處理及計算參考定位點的時間，根據閾值的設定，準確的還原出目標物體。
【專利說明】基于機器視覺的不規(guī)則形狀物體的計數方法與裝置

【技術領域】
[0001] 本發(fā)明涉及一種視覺識別設備，具體說是一種基于機器視覺的不規(guī)則形狀物體的 計數方法與裝置。

【背景技術】
[0002] 隨著計算機視覺的發(fā)展，目標計數已經成為重要應用領域之一。目標計數是一種 基于目標幾何特征的圖像分割統(tǒng)計，其準確性和實時性是整個系統(tǒng)的一項重要能力。在復 雜場景中，需要對多個目標進行實時高效的處理，尤其是對不規(guī)則形狀物體的計數很難做 到準確、實時。
[0003] 目前針對目標檢測的算法有SIFT/SURF算法、Haar特征提取等算法，這些算法基 本都是通過先獲取局部特征然后再進行匹配，但無法進行多個目標物體的檢測與計數。經 典霍夫變換可應用在識別直線、圓、橢圓等可以用解析方程清晰表達的形狀物體。它通過一 種投票算法可檢測具有特定形狀的多個物體。廣義霍夫變換是霍夫變換的推廣，可以用來 識別給定的任意形狀的曲線，但該算法運算量大。


【發(fā)明內容】

[0004] 本發(fā)明目的是：提供一種基于機器視覺的不規(guī)則形狀物體的計數方法與裝置，基 于改進的廣義霍夫變換原理，根據自適應閾值，實現準確目標計數，并通過將主要算法步驟 運行在GPU上，讓GPU與CPU協(xié)同處理，達到實時性的要求。
[0005] 本發(fā)明的技術方案是：一種基于機器視覺的不規(guī)則形狀物體的計數方法，包括以 下步驟： (1) 建立模板：利用不規(guī)則形狀物體的模板圖像的邊緣點信息建立模板信息表； (2) 待檢測圖像預處理：記錄待檢測圖像的邊緣點坐標和梯度值信息，后期通過查找模 板信息表來重定位目標物體的參考點位置； (3) 統(tǒng)計：利用模板信息表中的數據推算并統(tǒng)計參考點信息，根據匹配數，找出最佳的 目標物體。
[0006] 進一步的，所述步驟（1)包括：先對模板圖像進行Canny邊緣檢測，對模板圖像的 每個邊緣點信息進行處理，取不規(guī)則形狀物體區(qū)域內的參考點= (Xpyr) ,X是模板圖像 的任一邊緣點，點X11至邊緣點X的差矢量r = Xr-X ;!*與S軸夾角為α ;邊緣點X處的梯度 值為0 ;根據梯度值#取值的不同劃分區(qū)間,將0值在相同區(qū)間里的所有邊緣點的（r,a) 放入同一表項中，組成模板信息表。
[0007] 進一步的，所述步驟（2)包括：對待檢測圖像進行Canny邊緣檢測，記錄待檢測圖 像中邊緣點的坐標(X,y〕及梯度值0信息,查找模板信息表中相應的梯度值0中的（Γ,Ct )信 息根據公式Xr= χ十rcosH、= y十rsinO),推算參考點Xr。
[0008] 進一步的，所述步驟（3)還包括改變模板信息表中的α值和Γ值，根據變換后的數 據還原邊緣點的相對參考點，統(tǒng)計參考點的匹配次數。
[0009] 進一步的，針對多個目標物體，在廣義霍夫變換原理的基礎上，設定目標物體的閾 值參數，當參考點的匹配次數大于預先設定的閾值時，則判定為目標物體的參考點，根據坐 標位置相近關系取其中匹配次數最多的參考點，再還原有效的目標物體，并對目標物體進 行計數。
[0010] 進一步的，所述模板信息表存儲于GPU的Constant memory,待檢測圖像的邊緣點 信息存儲于Texture memory。
[0011] 進一步的，使用GPU不同的block處理不同的角度變換，而同一 block中的線程處 理同一角度變換時的不用尺度變換。
[0012] 本發(fā)明還公開了一種基于機器視覺的不規(guī)則形狀物體的計數裝置，其特征在于， 包括傳送控制臺，所述傳送控制臺一端設置有拍照觸發(fā)器，所述拍照觸發(fā)器上方設置工業(yè) 照相機，所述工業(yè)照相機與計算機處理器連接，所述電源控制器提供電源，所述計算機處理 器包括CPU和GPU。
[0013] 本發(fā)明的優(yōu)點是： 1.利用廣義霍夫變換能夠快速準確的學習不規(guī)則形狀物體的輪廓信息，在圖像計數 階段，利用GPU可以加速算法中對輪廓點信息處理及計算參考定位點的時間，根據閾值的 設定，準確的還原出目標物體。
[0014] 該計數方法能夠準確的計算不規(guī)則形狀物體的個數，而且高效、無損耗。

【專利附圖】

【附圖說明】
[0015] 下面結合附圖及實施例對本發(fā)明作進一步描述： 圖1為模板信息表不例圖； 圖2為廣義霍夫變換算法原理示意圖； 圖3為CPU與GPU協(xié)同優(yōu)化程序流程圖； 圖4為不規(guī)則形狀物體計數實驗裝置圖； 圖5為GPU與CPU實驗性能對比曲線圖； 圖6為實驗模板圖像與圖形計數結果圖。
[0016] 其中：1.傳送控制臺、2.拍照觸發(fā)器、3.工業(yè)照相機、4.計算機處理器、5.電源控 制器。

【具體實施方式】
[0017] 為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明了，下面結合【具體實施方式】并參 照附圖，對本發(fā)明進一步詳細說明。應該理解，這些描述只是示例性的，而并非要限制本發(fā) 明的范圍。此外，在以下說明中，省略了對公知結構和技術的描述，以避免不必要地混淆本 發(fā)明的概念。
[0018] 實施例： 本發(fā)明基于改進的廣義霍夫變換原理，根據自適應閾值，實現準確目標計數，并通過將 主要算法步驟運行在GPU上，讓GPU與CPU協(xié)同處理，達到實時性的要求。算法實現流程圖 如圖3所示，圖中陰影框為GPU參與加速部分。
[0019] 在實現目標計數時，算法的第一階段是建立模板，利用不規(guī)則形狀物體的模板圖 像的邊緣點信息建立模板信息表。具體步驟為：先對模板圖像進行Canny邊緣檢測，對模板 圖像的每個邊緣點信息進行處理，設Xr = 是不規(guī)則形狀物體區(qū)域內的參考點（如 區(qū)域的中心點），X是模板圖像的任一邊緣點，點Xr至邊緣點X的差矢量r = Xr -X ;r與X 軸夾角為β ;邊界點X處的梯度值為0。顯然I*、《和0共同確定一個邊緣點，根據梯度值0取 值的不同，按照π/12遞增，劃分成24個區(qū)間，將0值在相同區(qū)間里的所有邊緣點的（Γ,α ) 放入同一表項中，組織成一張模板信息表，如圖1所不，其中最大值驟為24。
[0020] 第二階段是待檢測圖像預處理階段，記錄待檢測圖像的輪廓點坐標和梯度值信 息，后期通過查找模板信息表來重定位目標物體的參考點位置。具體步驟為：對待檢測圖像 進行Canny邊緣檢測，記錄待檢測圖像中輪廓點的坐標(X.y〕及梯度值0信息，根據廣義霍 夫變換原理圖2可知，利用輪廓點的坐標信息fx,y),通過查找模板信息表中相應的梯度值 0中的（Γ,α )信息根據公式xr = x + rcaS(o〇、yr =y+rsin(?),可以推算出參考點信 肩、。
[0021] 第三階段為統(tǒng)計階段，利用模板信息表中的數據推算并統(tǒng)計參考定位點信息，根 據匹配數，找出最佳的目標物體。為了識別出可能有縮放和旋轉變化的目標物體，需要對 模板信息表進行相應的變換，通過改變模板信息表中的α值支持不同的旋轉變化，即改變 COS(CZ)、sin(?)計算結果,最大范圍支持-π+ν·π旋轉,通過改變模板信息表中的Γ值支持 不同的縮放變化，即改變邊緣點到參考點的距離Γ ,最大范圍支持模板圖像的0. 5倍到2倍 的放大縮小變化。具體的支持范圍可以根據不同的需要，在程序中做相應的設定。根據變 換后的數據來還原邊緣點的相對參考定位點，統(tǒng)計定位點的匹配次數。參考定位點中包含 坐標點位置信息、旋轉變化信息及尺度變化信息。
[0022] 針對圖片中有多個目標物體，在廣義霍夫變換原理的基礎上，設定目標物體的閾 值參數，當定位點的匹配次數大于預先設定的閾值時，則被判定為目標圖像的參考定位點， 同一個目標物體可能會因旋轉縮放的不同值出現多個參考定位點，需要根據坐標位置相近 關系取其中匹配次數最多的定位點進行去重后，再還原有效的目標物體，并對目標物體進 行計數。閾值是根據參考定位點可以匹配目標物體80%的邊緣點進行相應的自適應調整， 并通過多次實驗確定的最佳數值，當多個目標物體處于重疊或覆蓋時，可通過多次實驗，確 定最佳的參考點的方法來還原目標圖像。
[0023] 隨著GPU作為通用處理器出現，可以考慮利用GPU加速廣義霍夫變換，減少不規(guī)則 形狀物體計數的時間。本發(fā)明針對原廣義霍夫變換算法中間步驟的計算特點，對各中間步 驟采用最佳的GPU優(yōu)化策略。具體操作為：在對圖像進行預處理時利用GPU來進行Canny 邊緣檢測，加速圖像輪廓點信息提取；在第一階段將模板信息表存放在GPU的Constant memory中，在第二階段將待檢測圖像的邊緣點信息存儲在Texture memory中，可以減少程 序讀取數據的時間；第三階段為GPU優(yōu)化的重點，根據GPU的結構特點，同一 block中的線 程可以同步操作，而不同block中的線程通信需要一定的代價，為充分利用GPU的性能，讓 不同的block處理不同的角度變換，而同一 block中的線程處理同一角度變換時的不用尺 度變換，并行完成整個統(tǒng)計過程。程序中block數R設為32,表示原圖的W/16角度偏轉為 一個角度變化，thread數S設為60,表示原圖的0. 025倍放大為一個尺度變化。根據不同 的精度需求，可以設立不同的線程數。每個線程維護一張相應的旋轉縮放變換后的模板信 息表，并將待檢測圖像輪廓點推算得到的參考定位點信息，記錄在一張四維的定位點信息 統(tǒng)計表中，統(tǒng)計表中包含尺度變換信息、角度變換信息、定位點橫縱坐標信息。最后由CPU 遍歷統(tǒng)計表，根據閾值并去重，找到最佳的參考點，高效準確的識別出多個目標物體并進行 計數。
[0024] 利用待檢測圖像中的待檢測輪廓點數量的不同，實驗對比GPU代碼與CPU代碼運 行時間曲線如圖5所示。
[0025] 圖4為本發(fā)明的識別裝置，主要由傳送控制臺1，拍照觸發(fā)器2,工業(yè)照相機3,計 算機處理器4,電源控制器5等部件構成。傳送控制臺1 一端設置有拍照觸發(fā)器2,拍照觸 發(fā)器2上方設置工業(yè)照相機3,工業(yè)照相機3與計算機處理器4連接，電源控制器5提供電 源，計算機處理器4包括CPU和GPU。當物體經過觸發(fā)器2時會觸發(fā)照相機3拍照，拍攝后 的結果傳入計算機處理器4,執(zhí)行程序，顯示輸出不規(guī)則形狀物體的計數結果。
[0026] 在本實施例中利用鑰匙作為模板圖像，學習輪廓點信息，在待檢測物體圖像中正 確標識出不同狀態(tài)的鑰匙并進行計數。實驗模板圖像與圖形計數結果如圖6所示。
[0027] 應當理解的是，本發(fā)明的上述【具體實施方式】僅僅用于示例性說明或解釋本發(fā)明的 原理，而不構成對本發(fā)明的限制。因此，在不偏離本發(fā)明的精神和范圍的情況下所做的任何 修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內。此外，本發(fā)明所附權利要求旨 在涵蓋落入所附權利要求范圍和邊界、或者這種范圍和邊界的等同形式內的全部變化和修 改例。
【權利要求】
1. 一種基于機器視覺的不規(guī)則形狀物體的計數方法，其特征在于，包括以下步驟： (1) 建立模板：利用不規(guī)則形狀物體的模板圖像的邊緣點信息建立模板信息表； (2) 待檢測圖像預處理：記錄待檢測圖像的邊緣點坐標和梯度值信息，后期通過查找 模板信息表來重定位目標物體的參考點位置； (3) 統(tǒng)計：利用模板信息表中的數據推算并統(tǒng)計參考點信息，根據匹配數，找出最佳的 目標物體。
2. 根據權利要求1所述的基于機器視覺的不規(guī)則形狀物體的計數方 法，其特征在于，所述步驟（1)包括：先對模板圖像進行Canny邊緣檢測，對 模板圖像的每個邊緣點信息進行處理，取不規(guī)則形狀物體區(qū)域內的參考點 Xr = (xr，x是模板圖像的任一邊緣點，點Xr至邊緣點x的差矢量r = Xf -X ;r與X軸 夾角為a ;邊緣點X處的梯度值為0 ;根據梯度值0取值的不同劃分區(qū)間,將0值在相同區(qū) 間里的所有邊緣點的（d )放入同一表項中，組成模板信息表。
3. 根據權利要求1所述的基于機器視覺的不規(guī)則形狀物體的計數方法，其特征在 于，所述步驟（2)包括：對待檢測圖像進行Canny邊緣檢測，記錄待檢測圖像中邊緣點的 坐標(x.y〕及梯度值0信息，查找模板信息表中相應的梯度值0中的（r,a )信息根據公式 X11 = X 十 r cos|?、^ = y 十 rsin(；o〇 ,推算參考點X11。
4. 根據權利要求2所述的基于機器視覺的不規(guī)則形狀物體的計數方法，其特征在于， 所述步驟（3)還包括改變模板信息表中的a值和r值，根據變換后的數據還原邊緣點的相對 參考點，統(tǒng)計參考點的匹配次數。
5. 根據權利要求1所述的基于機器視覺的不規(guī)則形狀物體的計數方法，其特征在于， 針對多個目標物體，在廣義霍夫變換原理的基礎上，設定目標物體的閾值參數，當參考點的 匹配次數大于預先設定的閾值時，則判定為目標物體的參考點，根據坐標位置相近關系取 其中匹配次數最多的參考點，再還原有效的目標物體，并對目標物體進行計數。
6. 根據權利要求1所述的基于機器視覺的不規(guī)則形狀物體的計數方法，其特征在于， 所述模板信息表存儲于GPU的Constant memory,待檢測圖像的邊緣點信息存儲于Texture memory〇
7. 根據權利要求4所述的基于機器視覺的不規(guī)則形狀物體的計數方法，其特征在于， 使用GPU不同的block處理不同的角度變換，而同一 block中的線程處理同一角度變換時 的不用尺度變換。
8. -種基于機器視覺的不規(guī)則形狀物體的計數裝置，其特征在于，包括傳送控制臺，所 述傳送控制臺一端設置有拍照觸發(fā)器，所述拍照觸發(fā)器上方設置工業(yè)照相機，所述工業(yè)照 相機與計算機處理器連接，所述電源控制器提供電源，所述計算機處理器包括CPU和GPU。
【文檔編號】G06K9/66GK104361364SQ201410726611
【公開日】2015年2月18日 申請日期:2014年12月4日 優(yōu)先權日:2014年12月4日
【發(fā)明者】吳俊敏, 王彥, 鄭煥鑫, 李忠鍵, 趙小雨 申請人:中國科學技術大學蘇州研究院, 蘇州展科光電科技有限公司