本申請涉及機器視覺,尤其涉及一種目標抓取方法、裝置及設備。
背景技術:
1、機械臂是機器人的一種類型,是一種自動化設備,具有多個關節,可以模擬人類手臂的動作,進行搬運、裝配、加工等多種作業。比如說,機械臂具有以下特點:自主性,能夠在沒有外部指導的情況下執行任務。適應性,能夠根據環境變化調整機械臂自身的行為。智能性,具有一定程度的決策和規劃能力。
2、機械臂可以包括三軸機械臂和六軸機械臂等,以六軸機械臂為例,六軸機械臂是指具有六個自由度的機械臂,由六個關節驅動,六個關節可以分別實現角度、位置和速度等控制,能夠在x、y、z等三個空間方向上自由運動,能夠完成復雜的三維運動,如拉、伸、扭轉等,從而進行搬運、裝配、加工等作業。六軸機械臂可以由關節、電機、傳感器等組成,電機用于為六軸機械臂提供驅動力,傳感器用于提供反饋信號,實現對六軸機械臂運動的控制和調整。
3、機械臂用于對待抓取目標進行抓取操作,在對待抓取目標進行抓取操作時,需要確定機械臂的抓取位姿。然而,如何準確確定機械臂的抓取位姿,在相關技術中沒有有效的實現方式,即無法得到準確的抓取位姿。
技術實現思路
1、本申請提供一種目標抓取方法,所述方法包括:
2、基于第一坐標點集、第二坐標點集和參考標定矩陣,確定目標位姿變換矩陣;其中,所述第一坐標點集包括多個特征點在基準圖像中的像素坐標,所述第二坐標點集包括所述多個特征點在運行圖像中的像素坐標,所述基準圖像是待抓取目標處于基準位姿時的圖像,所述運行圖像是待抓取目標處于運行位姿時的圖像;其中,所述參考標定矩陣是圖像坐標系與機械臂坐標系之間的轉換矩陣;所述目標位姿變換矩陣是所述基準位姿在機械臂坐標系下對應的第一目標位姿與所述運行位姿在機械臂坐標系下對應的第二目標位姿之間的轉換矩陣;
3、基于所述目標位姿變換矩陣和已獲取的示教位姿確定目標抓取位姿;
4、其中,所述示教位姿是所述待抓取目標處于所述基準位姿時對所述待抓取目標進行抓取操作時的機械臂位姿,所述目標抓取位姿是所述待抓取目標處于所述運行位姿時對所述待抓取目標進行抓取操作時的機械臂位姿。
5、本申請提供一種目標抓取裝置,所述裝置包括:
6、確定模塊,用于基于第一坐標點集、第二坐標點集和參考標定矩陣,確定目標位姿變換矩陣;其中,第一坐標點集包括多個特征點在基準圖像中的像素坐標,第二坐標點集包括所述多個特征點在運行圖像中的像素坐標,所述基準圖像是待抓取目標處于基準位姿時的圖像,所述運行圖像是待抓取目標處于運行位姿時的圖像;其中,所述參考標定矩陣是圖像坐標系與機械臂坐標系的轉換矩陣;所述目標位姿變換矩陣是所述基準位姿在機械臂坐標系下對應的第一目標位姿與所述運行位姿在機械臂坐標系下對應的第二目標位姿的轉換矩陣;
7、處理模塊,用于基于所述目標位姿變換矩陣和已獲取的示教位姿確定目標抓取位姿;其中,所述示教位姿是所述待抓取目標處于所述基準位姿時對所述待抓取目標進行抓取操作時的機械臂位姿,所述目標抓取位姿是所述待抓取目標處于所述運行位姿時對所述待抓取目標進行抓取操作時的機械臂位姿。
8、本申請提供一種電子設備,包括:處理器和機器可讀存儲介質,所述機器可讀存儲介質存儲有能夠被所述處理器執行的機器可執行指令;所述處理器用于執行機器可執行指令,以實現上述示例的目標抓取方法。
9、本申請提供一種計算機程序產品,所述計算機程序產品包括計算機程序,所述計算機程序被處理器執行時實現上述示例的目標抓取方法。
10、本申請提供一種機器可讀存儲介質,所述機器可讀存儲介質存儲有能夠被處理器執行的機器可執行指令;其中,所述處理器用于執行所述機器可執行指令,在所述機器可執行指令被執行時實現上述示例的目標抓取方法。
11、由以上技術方案可見,本申請實施例中,第一坐標點集包括多個特征點在基準圖像中的像素坐標,第二坐標點集包括多個特征點在運行圖像中的像素坐標,在基于第一坐標點集和第二坐標點集得到目標抓取位姿時,就能夠基于多個特征點在基準圖像中的像素坐標和多個特征點在運行圖像中的像素坐標確定目標抓取位姿,從而提出多特征點融合的機械臂高精度視覺定位方法,通過多個特征點的像素坐標確定目標抓取位姿,實現高精度、高適應性、高魯棒性的機械臂定位引導,得到準確可靠的目標抓取位姿,能夠顯著提升定位精度,機械臂定位引導精度大幅提高。
1.一種目標抓取方法,其特征在于,所述方法包括:
2.根據權利要求1所述的方法,其特征在于,所述方法還包括:
3.根據權利要求1所述的方法,其特征在于,所述基于第一坐標點集、第二坐標點集和參考標定矩陣,確定目標位姿變換矩陣,包括:
4.根據權利要求3所述的方法,其特征在于,所述基于所述第三坐標點集和所述第四坐標點集確定目標位姿變換矩陣,包括:
5.根據權利要求3或4所述的方法,其特征在于,所述基于所述第三坐標點集和所述第四坐標點集確定目標位姿變換矩陣,包括:
6.根據權利要求3或4所述的方法,其特征在于,所述基于所述第三坐標點集和所述第四坐標點集確定目標位姿變換矩陣,包括:
7.根據權利要求3或4所述的方法,其特征在于,所述基于所述第三坐標點集和所述第四坐標點集確定目標位姿變換矩陣之后,所述方法還包括:
8.根據權利要求7所述的方法,其特征在于,所述基于所述第三坐標點集和所述第四坐標點集重新確定目標位姿變換矩陣,包括:
9.根據權利要求8所述的方法,其特征在于,
10.一種目標抓取裝置,其特征在于,所述裝置包括:
11.根據權利要求10所述的裝置,其特征在于,所述處理模塊,還用于在所述待抓取目標處于參考坐標系下的所述基準位姿時,通過相機在第一拍照位置進行圖像采集,得到所述基準圖像;確定所述待抓取目標的多個特征點在所述基準圖像中對應的所述第一坐標點集;在所述待抓取目標處于所述基準位姿時,控制機械臂對所述待抓取目標進行抓取操作,確定抓取操作的機械臂位姿,將該機械臂位姿確定為所述示教位姿;其中,該機械臂位姿是機械臂末端或者抓取工具在機械臂坐標系下的位姿;在所述待抓取目標處于參考坐標系下的所述運行位姿時,通過相機在第二拍照位置進行圖像采集,得到所述運行圖像;確定所述待抓取目標的多個特征點在所述運行圖像中對應的所述第二坐標點集;
12.一種電子設備,其特征在于,包括:處理器和機器可讀存儲介質,所述機器可讀存儲介質存儲有能夠被所述處理器執行的機器可執行指令;所述處理器用于執行機器可執行指令,以實現權利要求1-9任一所述的方法。