本技術(shù)涉及機(jī)器人，尤其涉及一種機(jī)器人的控制系統(tǒng)、控制方法、機(jī)器人和清潔系統(tǒng)。

背景技術(shù)：

1、目前，在機(jī)器人執(zhí)行作業(yè)任務(wù)過(guò)程中，通常需要用戶(hù)輔助操作機(jī)器人接觸物體。在相關(guān)技術(shù)中，通常是用戶(hù)通過(guò)遙桿遙操作、利用智能穿戴設(shè)備進(jìn)行純視覺(jué)遙操作或在二維圖像上進(jìn)行點(diǎn)選遙操作，但這些遙操作存在認(rèn)知門(mén)檻高，從而導(dǎo)致用戶(hù)無(wú)法快速、精準(zhǔn)地控制機(jī)器人完成作業(yè)任務(wù)。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供了一種機(jī)器人的控制系統(tǒng)、控制方法、機(jī)器人和清潔系統(tǒng)，用以解決現(xiàn)有的遙操作存在認(rèn)知門(mén)檻高導(dǎo)致用戶(hù)無(wú)法快速、精準(zhǔn)地控制機(jī)器人完成作業(yè)任務(wù)的問(wèn)題。

2、本技術(shù)提供一種機(jī)器人的控制系統(tǒng)，所述機(jī)器人的控制系統(tǒng)包括：

3、機(jī)器人，用于獲取所述機(jī)器人周?chē)矬w對(duì)應(yīng)的場(chǎng)景感知信息，并對(duì)所述場(chǎng)景感知信息進(jìn)行可供性識(shí)別，得到可供性識(shí)別結(jié)果，所述可供性識(shí)別結(jié)果包括至少一個(gè)操作對(duì)象和對(duì)每個(gè)所述操作對(duì)象能夠執(zhí)行的至少一個(gè)操作動(dòng)作；

4、終端，用于基于用戶(hù)選擇的目標(biāo)操作類(lèi)型，根據(jù)所述場(chǎng)景感知信息和所述可供性識(shí)別結(jié)果，顯示包括能夠執(zhí)行所述目標(biāo)操作類(lèi)型的候選操作對(duì)象的可供性視圖，根據(jù)所述用戶(hù)在所述可供性視圖中選擇的目標(biāo)操作對(duì)象，生成所述目標(biāo)操作對(duì)象對(duì)應(yīng)的目標(biāo)任務(wù)，并向所述機(jī)器人發(fā)送所述目標(biāo)任務(wù)，以供所述機(jī)器人基于所述目標(biāo)任務(wù)中的目標(biāo)操作對(duì)象，通過(guò)所述機(jī)器人的機(jī)械臂根據(jù)所述目標(biāo)操作對(duì)象的對(duì)象類(lèi)型使用不同的目標(biāo)力度執(zhí)行所述目標(biāo)操作對(duì)象對(duì)應(yīng)的操作動(dòng)作，所述目標(biāo)力度基于所述機(jī)械臂中的壓力感應(yīng)裝置采集的壓力信號(hào)動(dòng)態(tài)調(diào)節(jié)。

5、在一實(shí)施例中，所述機(jī)器人包括視覺(jué)傳感器，所述視覺(jué)傳感器被配置于所述機(jī)器人的機(jī)身前方；

6、在獲取所述機(jī)器人周?chē)矬w對(duì)應(yīng)的場(chǎng)景感知信息時(shí)，所述機(jī)器人用于執(zhí)行：

7、獲取所述視覺(jué)傳感器采集所述機(jī)器人周?chē)矬w對(duì)應(yīng)的彩色圖像和深度圖像；

8、對(duì)所述彩色圖像和所述深度圖像進(jìn)行語(yǔ)義識(shí)別，得到目標(biāo)物體類(lèi)型和點(diǎn)云數(shù)據(jù)；

9、根據(jù)所述彩色圖像、所述目標(biāo)物體類(lèi)型和所述點(diǎn)云數(shù)據(jù)，確定所述場(chǎng)景感知信息。

10、在一實(shí)施例中，所述場(chǎng)景感知信息包括目標(biāo)物體類(lèi)型和點(diǎn)云數(shù)據(jù)；在對(duì)所述場(chǎng)景感知信息進(jìn)行可供性識(shí)別，得到可供性識(shí)別結(jié)果時(shí)，所述機(jī)器人用于執(zhí)行：

11、根據(jù)所述目標(biāo)物體類(lèi)型和所述點(diǎn)云數(shù)據(jù)進(jìn)行可供性識(shí)別，確定所述可供性識(shí)別結(jié)果。

12、在一實(shí)施例中，在根據(jù)所述目標(biāo)物體類(lèi)型和所述點(diǎn)云數(shù)據(jù)進(jìn)行可供性識(shí)別，確定所述可供性識(shí)別結(jié)果時(shí)，所述機(jī)器人用于執(zhí)行：

13、基于預(yù)設(shè)的物體類(lèi)型與可供性識(shí)別模型之間的對(duì)應(yīng)關(guān)系，確定所述目標(biāo)物體類(lèi)型對(duì)應(yīng)的目標(biāo)可供性識(shí)別模型；

14、根據(jù)所述目標(biāo)可供性識(shí)別模型對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行可供性識(shí)別，得到所述可供性識(shí)別結(jié)果。

15、在一實(shí)施例中，所述可供性識(shí)別模型包括操作動(dòng)作識(shí)別模型和風(fēng)險(xiǎn)評(píng)估模型，其中，所述操作動(dòng)作識(shí)別模型包括抓取識(shí)別模型、放置識(shí)別模型和擦拭識(shí)別模型，所述風(fēng)險(xiǎn)評(píng)估模型包括碰撞代價(jià)識(shí)別模型。

16、在一實(shí)施例中，所述場(chǎng)景感知信息包括目標(biāo)物體類(lèi)型和彩色圖像；在對(duì)所述場(chǎng)景感知信息進(jìn)行可供性識(shí)別時(shí)，所述機(jī)器人用于執(zhí)行：

17、對(duì)所述彩色圖像進(jìn)行圖像分割，得到至少一個(gè)圖像分割區(qū)域；

18、根據(jù)所述目標(biāo)物體類(lèi)型對(duì)所述至少一個(gè)圖像分割區(qū)域進(jìn)行分類(lèi)，得到所述可供性識(shí)別結(jié)果。

19、在一實(shí)施例中，所述場(chǎng)景感知信息包括點(diǎn)云數(shù)據(jù)；

20、在基于用戶(hù)選擇的目標(biāo)操作類(lèi)型，根據(jù)所述場(chǎng)景感知信息和所述可供性識(shí)別結(jié)果，顯示包括能夠執(zhí)行所述目標(biāo)操作類(lèi)型的候選操作對(duì)象的可供性視圖時(shí)，所述終端用于執(zhí)行：

21、根據(jù)所述可供性識(shí)別結(jié)果，將操作動(dòng)作與所述目標(biāo)操作類(lèi)型匹配的可操作物體以及所述可操作物體的可操作區(qū)域，確定為所述候選操作對(duì)象；

22、獲取所述候選操作對(duì)象對(duì)應(yīng)的標(biāo)識(shí)數(shù)據(jù)；

23、通過(guò)空間插值方式將所述候選操作對(duì)象對(duì)應(yīng)的標(biāo)識(shí)數(shù)據(jù)疊加至所述點(diǎn)云數(shù)據(jù)中，得到目標(biāo)點(diǎn)云數(shù)據(jù)；

24、對(duì)所述目標(biāo)點(diǎn)云數(shù)據(jù)進(jìn)行渲染，得到所述可供性視圖。

25、在一實(shí)施例中，所述場(chǎng)景感知信息包括彩色圖像；

26、在基于用戶(hù)選擇的目標(biāo)操作類(lèi)型，根據(jù)所述場(chǎng)景感知信息和所述可供性識(shí)別結(jié)果，顯示包括能夠執(zhí)行所述目標(biāo)操作類(lèi)型的候選操作對(duì)象的可供性視圖時(shí)，所述終端用于執(zhí)行：

27、根據(jù)所述可供性識(shí)別結(jié)果，將操作動(dòng)作與所述目標(biāo)操作類(lèi)型匹配的可操作物體以及所述可操作物體的可操作區(qū)域，確定為所述候選操作對(duì)象；

28、將所述彩色圖像與所述候選操作對(duì)象的標(biāo)識(shí)進(jìn)行疊加，得到所述可供性視圖。

29、在一實(shí)施例中，在將所述彩色圖像與所述候選操作對(duì)象的標(biāo)識(shí)進(jìn)行疊加，得到所述可供性視圖之前，所述終端還用于執(zhí)行：

30、在所述彩色圖像的視角不為預(yù)設(shè)視角時(shí)，對(duì)所述彩色圖像進(jìn)行加權(quán)反向投影，得到視角調(diào)整后的彩色圖像；

31、在將所述彩色圖像與所述候選操作對(duì)象的標(biāo)識(shí)進(jìn)行疊加，得到所述可供性視圖時(shí)，所述終端還用于執(zhí)行：

32、將視角調(diào)整后的所述彩色圖像與所述候選操作對(duì)象的標(biāo)識(shí)進(jìn)行疊加，得到所述可供性視圖。

33、在一實(shí)施例中，所述可供性識(shí)別結(jié)果還包括碰撞代價(jià)圖，所述碰撞代價(jià)圖包括每個(gè)所述操作對(duì)象對(duì)應(yīng)的碰撞代價(jià)值；

34、在根據(jù)所述場(chǎng)景感知信息和所述可供性識(shí)別結(jié)果，顯示包括能夠執(zhí)行所述目標(biāo)操作類(lèi)型的候選操作對(duì)象的可供性視圖時(shí)，所述終端還用于執(zhí)行：

35、在所述可供性視圖中，將碰撞代價(jià)值大于預(yù)設(shè)代價(jià)閾值的操作對(duì)象設(shè)置為不可選中狀態(tài)。

36、在一實(shí)施例中，在根據(jù)所述目標(biāo)操作對(duì)象的對(duì)象類(lèi)型使用不同的目標(biāo)力度執(zhí)行所述目標(biāo)操作對(duì)象對(duì)應(yīng)的操作動(dòng)作之前，所述機(jī)器人還用于執(zhí)行：

37、確定所述機(jī)械臂與所述目標(biāo)操作對(duì)象之間的無(wú)碰撞路徑；

38、根據(jù)所述無(wú)碰撞路徑，確定所述機(jī)械臂中的關(guān)節(jié)的自由度信息；

39、在根據(jù)所述目標(biāo)操作對(duì)象的對(duì)象類(lèi)型使用不同的目標(biāo)力度執(zhí)行所述目標(biāo)操作對(duì)象對(duì)應(yīng)的操作動(dòng)作時(shí)，所述機(jī)器人還用于執(zhí)行：

40、控制所述機(jī)械臂按照所述自由度信息向所述目標(biāo)操作對(duì)象移動(dòng)，并根據(jù)所述目標(biāo)操作對(duì)象的對(duì)象類(lèi)型使用不同的目標(biāo)力度執(zhí)行所述目標(biāo)操作對(duì)象對(duì)應(yīng)的操作動(dòng)作。

41、在一實(shí)施例中，所述場(chǎng)景感知信息包括物體位置；在確定所述機(jī)械臂與所述目標(biāo)操作對(duì)象之間的無(wú)碰撞路徑時(shí)，所述機(jī)器人還用于執(zhí)行：

42、基于預(yù)設(shè)的障礙物地圖，根據(jù)所述目標(biāo)操作對(duì)象的物體位置與所述機(jī)械臂的位置坐標(biāo)進(jìn)行路徑規(guī)劃，得到所述無(wú)碰撞路徑。

43、在一實(shí)施例中，所述壓力感應(yīng)裝置包括壓力傳感器；在根據(jù)所述目標(biāo)操作對(duì)象的對(duì)象類(lèi)型使用不同的目標(biāo)力度執(zhí)行所述目標(biāo)操作對(duì)象對(duì)應(yīng)的操作動(dòng)作時(shí)，所述機(jī)器人還用于執(zhí)行：

44、獲取所述壓力傳感器采集的壓力值；

45、根據(jù)所述壓力值對(duì)所述目標(biāo)力度進(jìn)行調(diào)節(jié)。

46、在一實(shí)施例中，所述壓力感應(yīng)裝置包括設(shè)置在所述機(jī)械臂中的電機(jī)，在根據(jù)所述目標(biāo)操作對(duì)象的對(duì)象類(lèi)型使用不同的目標(biāo)力度執(zhí)行所述目標(biāo)操作對(duì)象對(duì)應(yīng)的操作動(dòng)作時(shí)，所述機(jī)器人還用于執(zhí)行：

47、獲取所述電機(jī)的工作電流；

48、基于預(yù)設(shè)的電流與壓力之間的對(duì)應(yīng)關(guān)系，將所述工作電流轉(zhuǎn)換為所述機(jī)械臂的壓力值，并根據(jù)所述壓力值對(duì)所述目標(biāo)力度進(jìn)行調(diào)節(jié)。

49、在一實(shí)施例中，所述控制系統(tǒng)還包括云服務(wù)器；所述機(jī)器人還用于執(zhí)行：

50、每隔預(yù)設(shè)時(shí)長(zhǎng)記錄多維度數(shù)據(jù)，并向所述云服務(wù)器發(fā)送所述多維度數(shù)據(jù)，所述多維度數(shù)據(jù)包括彩色圖像、深度圖像、可供性視圖、所述機(jī)械臂的末端位姿、所述機(jī)械臂的壓力值、所述機(jī)械臂的力矩、任務(wù)標(biāo)簽、時(shí)間戳中的至少兩項(xiàng)。

51、在一實(shí)施例中，所述終端還用于執(zhí)行：

52、從所述云服務(wù)器獲取所述多維度數(shù)據(jù)，并根據(jù)所述多維度數(shù)據(jù)生成腳本化測(cè)試指令；

53、向所述機(jī)器人發(fā)送所述腳本化測(cè)試指令，以供所述機(jī)器人執(zhí)行所述腳本化測(cè)試指令，并返回所述機(jī)械臂的運(yùn)動(dòng)軌跡；

54、根據(jù)所述運(yùn)動(dòng)軌跡與預(yù)設(shè)的期望軌跡進(jìn)行對(duì)比，得到腳本化測(cè)試結(jié)果。

55、第二方面，本技術(shù)還提供一種機(jī)器人的控制方法，應(yīng)用于機(jī)器人，所述控制方法包括：

56、獲取所述機(jī)器人周?chē)矬w對(duì)應(yīng)的場(chǎng)景感知信息，并對(duì)所述場(chǎng)景感知信息進(jìn)行可供性識(shí)別，得到可供性識(shí)別結(jié)果，所述可供性識(shí)別結(jié)果包括至少一個(gè)操作對(duì)象和每個(gè)所述操作對(duì)象待執(zhí)行的至少一個(gè)操作動(dòng)作；

57、向終端發(fā)送所述場(chǎng)景感知信息和所述可供性識(shí)別結(jié)果，以供所述終端基于用戶(hù)選擇的目標(biāo)操作類(lèi)型，根據(jù)所述場(chǎng)景感知信息和所述可供性識(shí)別結(jié)果，顯示包括能夠執(zhí)行所述目標(biāo)操作類(lèi)型的候選操作對(duì)象的可供性視圖；

58、獲取目標(biāo)任務(wù)，所述目標(biāo)任務(wù)為所述終端根據(jù)所述用戶(hù)在所述可供性視圖中選擇的目標(biāo)操作對(duì)象生成；

59、基于所述目標(biāo)任務(wù)中的目標(biāo)操作對(duì)象，通過(guò)所述機(jī)器人的機(jī)械臂根據(jù)所述目標(biāo)操作對(duì)象的對(duì)象類(lèi)型使用不同的目標(biāo)力度執(zhí)行所述目標(biāo)操作對(duì)象對(duì)應(yīng)的操作動(dòng)作，所述基于所述機(jī)械臂中的壓力感應(yīng)裝置采集的壓力信號(hào)動(dòng)態(tài)調(diào)節(jié)。

60、第三方面，本技術(shù)還提供一種機(jī)器人，所述機(jī)器人包括機(jī)器人主體、底盤(pán)、視覺(jué)傳感器、機(jī)械臂和控制器，所述底盤(pán)設(shè)置拖擦件和刷掃件，所述機(jī)械臂包括壓力感應(yīng)裝置；所述控制器用于執(zhí)行上述的機(jī)器人的控制方法。

61、第四方面，本技術(shù)還提供一種清潔系統(tǒng)，其特征在于，包括：

62、清潔機(jī)器人；以及

63、基站，所述基站能夠?qū)λ銮鍧崣C(jī)器人進(jìn)行維護(hù)，所述清潔機(jī)器人為如上述的機(jī)器人。

64、本技術(shù)實(shí)施例提供的器人的控制系統(tǒng)、控制方法、機(jī)器人和清潔系統(tǒng)，通過(guò)由機(jī)器人對(duì)周?chē)矬w的場(chǎng)景感知信息進(jìn)行可供性識(shí)別，由終端基于用戶(hù)選擇的目標(biāo)操作類(lèi)型，根據(jù)場(chǎng)景感知信息和可供性識(shí)別結(jié)果，顯示包括能夠執(zhí)行目標(biāo)操作類(lèi)型的候選操作對(duì)象的可供性視圖，響應(yīng)于用戶(hù)在可供性視圖中選擇的目標(biāo)操作對(duì)象，生成目標(biāo)操作對(duì)象對(duì)應(yīng)的目標(biāo)任務(wù)，并向機(jī)器人發(fā)送目標(biāo)任務(wù)，由機(jī)器人通過(guò)機(jī)械臂根據(jù)目標(biāo)操作對(duì)象的對(duì)象類(lèi)型使用不同的目標(biāo)力度執(zhí)行目標(biāo)操作對(duì)象對(duì)應(yīng)的操作動(dòng)作，可以實(shí)現(xiàn)以可視化的方式在終端上顯示可選擇的操作對(duì)象，用戶(hù)只需要在終端上選擇目標(biāo)操作對(duì)象即可實(shí)現(xiàn)快速、精準(zhǔn)地控制機(jī)器人執(zhí)行目標(biāo)操作對(duì)象對(duì)應(yīng)的操作動(dòng)作，大幅降低用戶(hù)的認(rèn)知門(mén)檻，提高控制機(jī)器人執(zhí)行任務(wù)的效率和準(zhǔn)確性。

65、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本技術(shù)實(shí)施例的公開(kāi)內(nèi)容。