本申請涉及視覺定位,具體涉及引導機器人實現高精度抓取的視覺定位方法、系統及裝置。
背景技術:
1、機械臂作為工業機器人中最廣泛使用的自動化裝置,在冷鏈物流運輸的動態裝配、抓取、分揀等場景中發揮著極其重要的作用。同時,傳統機械臂面對復雜的工作環境時,難以做到路徑最優、定位精確,因此需要視覺技術與機械臂結合才能實現在復雜環境下進行高精度地抓取、分揀等工作。然而傳統的目標識別技術主要通過對目標在理想場景下的靜態特征進行分析提取,導致其在復雜動態場景下的魯棒性和響應時間方便表現較差。
2、目前,如何提升機械臂在復雜場景下對目標的視覺定位的準確度成為了研究熱點,論文“基于視覺定位的機械臂抓取技術的研究”中,使用改進后的yolov5目標檢測模型對采集的鋼板彈簧片數據集進行訓練和處理,并通過引入雙目立體視覺系統來完成對鋼板彈簧片的識別和定位,最后在機器人操作系統(robot?operating?system,ros)集成開發環境中完成了機械臂對鋼板彈簧片的抓取仿真。
3、然而通過上述方式進行處理后仍存在一定缺陷,冷鏈物流運輸通常會采用傳送帶的方式進行貨物的運輸,因此目標物品在傳送帶上移動的過程中,所受到的光照會產生較大的變化,進而導致在采用較理想情況下的目標物品原始視覺特征來進行視覺定位識別時,出現定位精度下降或無法識別出目標物品的問題。
技術實現思路
1、為了解決上述技術問題,本申請的目的在于提供引導機器人實現高精度抓取的視覺定位方法、系統及裝置,所采用的技術方案具體如下:
2、第一方面,本申請實施例提供了引導機器人實現高精度抓取的視覺定位方法,該方法包括以下步驟:
3、實時獲取傳送帶運輸過程中的圖像;
4、獲取各圖像中的邊緣點;將各幀圖像均等劃分為若干個區域,根據各區域在當前幀與前一幀中的邊緣點數目差異和灰度差異獲取當前圖像中各區域的物品存在值;獲取各幀圖像中的拐點和陰影像素點;根據當前圖像中各區域的拐點數目,以及各區域在當前幀與前一幀中陰影像素點的數目變化,獲取當前圖像中各區域的目標遮擋值;
5、根據當前圖像中各區域的物品存在值和目標遮擋值獲取當前圖像中各區域的物品可抓取值,進而得到當前圖像中的目標區域;引導機器人在目標區域上抓取目標物品。
6、優選的,所述當前圖像中各區域的物品存在值的計算公式為:;式中,表示當前圖像中第i個區域的物品存在值,表示第i個區域在當前幀與前一幀中的邊緣點總數的絕對差值,表示第i個區域在當前幀與前一幀圖像中灰度均值的絕對差值。
7、優選的,所述拐點的獲取方法為:獲取各幀圖像中的各邊緣點的曲率;將各幀圖像中曲率大于預設拐點閾值的邊緣點記作各幀圖像的拐點。
8、優選的,所述陰影像素點為各幀圖像中灰度值小于或等于預設分割閾值的像素點。
9、優選的,所述當前圖像中各區域的目標遮擋值的計算公式為:;式中,為當前圖像中第i個區域的目標遮擋值,為當前圖像中第i個區域中拐點的總數,為第i個區域在當前幀與前一幀中陰影像素點數目的差值的絕對值,為第一預設常數。
10、優選的,所述當前圖像中各區域的物品可抓取值的計算公式為:;式中,表示當前圖像的第i個區域的物品可抓取值,表示當前圖像中第i個區域的物品存在值,為當前圖像中第i個區域的目標遮擋值,為第二預設常數。
11、優選的,所述當前圖像中的目標區域的獲取過程為:計算當前圖像中所有區域的物品可抓取值,當當前圖像中所有區域的物品可抓取值的最大值大于或等于預設目標閾值時,將物品可抓取值的最大值所對應的目標區域作為當前圖像中的目標區域。
12、優選的,所述引導機器人在目標區域上抓取目標物品的具體過程為:ros集成開發環境根據目標區域的位置發出控制指令,規劃出一條最優的末端可行路徑,利用關節點空間軌跡規劃控制機器人的機械臂各關節點進行運動,最終抓取目標區域中的物品。
13、第二方面,本申請實施例提供了引導機器人實現高精度抓取的視覺定位裝置,所述視覺定位裝置包括:數據采集模塊,區域分析模塊,目標區域獲取模塊。
14、數據采集模塊,用于獲取傳送帶運輸過程中的圖像;
15、區域分析模塊,用于基于各區域在當前幀與前一幀中的邊緣點數目差異和灰度差異,獲取各區域的物品存在值;基于各區域的拐點數目,以及各區域在當前幀與前一幀中陰影像素點的數目變化,獲取當前圖像中各區域的目標遮擋值;
16、目標區域獲取模塊,用于獲取當前圖像中的目標區域,并引導機器人在目標區域上抓取目標物品。
17、第三方面,本申請實施例還提供了引導機器人實現高精度抓取的視覺定位系統,所述系統包括存儲器、處理器以及存儲在所述存儲器中并在所述處理器上運行的計算機程序,所述處理器執行所述計算機程序時實現上述任意一項所述引導機器人實現高精度抓取的視覺定位方法的步驟。
18、由以上實施例可見,本申請實施例提供的引導機器人實現高精度抓取的視覺定位方法、系統及裝置,至少具有如下有益效果:
19、本申請針對采用傳統方法對冷鏈物流運輸傳送帶上的目標物品進行視覺識別定位時,由于物品的快速移動和物品堆疊,進而導致利用目標物品原始視覺特征進行識別定位會出現無法識別或識別準確度較低的問題,通過對傳送帶上采集到的圖像中目標物品移動時的光照特征和陰影特征進行分析,并結合物品之間堆疊時的特征變化,獲取到各區域的物品可抓取值,得到圖像中受到干擾最小且位置最準確的目標區域,提升了目標物品的視覺定位精度。
1.引導機器人實現高精度抓取的視覺定位方法,其特征在于,該方法包括以下步驟:
2.如權利要求1所述的引導機器人實現高精度抓取的視覺定位方法,其特征在于,所述當前圖像中各區域的物品存在值的計算公式為:;式中,表示當前圖像中第i個區域的物品存在值,表示第i個區域在當前幀與前一幀中的邊緣點總數的絕對差值,表示第i個區域在當前幀與前一幀圖像中灰度均值的絕對差值。
3.如權利要求1所述的引導機器人實現高精度抓取的視覺定位方法,其特征在于,所述拐點的獲取方法為:獲取各幀圖像中的各邊緣點的曲率;將各幀圖像中曲率大于預設拐點閾值的邊緣點記作各幀圖像的拐點。
4.如權利要求1所述的引導機器人實現高精度抓取的視覺定位方法,其特征在于,所述陰影像素點為各幀圖像中灰度值小于或等于預設分割閾值的像素點。
5.如權利要求1所述的引導機器人實現高精度抓取的視覺定位方法,其特征在于,所述當前圖像中各區域的目標遮擋值的計算公式為:;式中,為當前圖像中第i個區域的目標遮擋值,為當前圖像中第i個區域中拐點的總數,為第i個區域在當前幀與前一幀中陰影像素點數目的差值的絕對值,為第一預設常數。
6.如權利要求1所述的引導機器人實現高精度抓取的視覺定位方法,其特征在于,所述當前圖像中各區域的物品可抓取值的計算公式為:;式中,表示當前圖像的第i個區域的物品可抓取值,表示當前圖像中第i個區域的物品存在值,為當前圖像中第i個區域的目標遮擋值,為第二預設常數。
7.如權利要求1所述的引導機器人實現高精度抓取的視覺定位方法,其特征在于,所述當前圖像中的目標區域的獲取過程為:計算當前圖像中所有區域的物品可抓取值,當當前圖像中所有區域的物品可抓取值的最大值大于或等于預設目標閾值時,將物品可抓取值的最大值所對應的目標區域作為當前圖像中的目標區域。
8.如權利要求1所述的引導機器人實現高精度抓取的視覺定位方法,其特征在于,所述引導機器人在目標區域上抓取目標物品的具體過程為:ros集成開發環境根據目標區域的位置發出控制指令,規劃出一條最優的末端可行路徑,利用關節點空間軌跡規劃控制機器人的機械臂各關節點進行運動,最終抓取目標區域中的物品。
9.引導機器人實現高精度抓取的視覺定位裝置,其特征在于,實現如權利要求1-8任意一項所述的引導機器人實現高精度抓取的視覺定位方法,所述視覺定位裝置包括:
10.引導機器人實現高精度抓取的視覺定位系統,包括存儲器、處理器以及存儲在所述存儲器中并在所述處理器上運行的計算機程序,其特征在于,所述處理器執行所述計算機程序時實現如權利要求1-8任意一項所述的引導機器人實現高精度抓取的視覺定位方法。