本技術(shù)涉及定位導(dǎo)航，尤其涉及一種激光視覺融合導(dǎo)航定位方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著自動(dòng)駕駛與智能導(dǎo)航技術(shù)的快速發(fā)展，高精度環(huán)境感知成為實(shí)現(xiàn)可靠導(dǎo)航定位的核心需求。目前的自動(dòng)駕駛與智能導(dǎo)航技術(shù)都是通過純激光方案或者純視覺方案實(shí)現(xiàn)的，但是單一傳感器方案普遍存在缺陷：例如，激光雷達(dá)雖能提供精確三維坐標(biāo)，但缺乏語義信息；視覺傳感器雖具備豐富紋理與語義識(shí)別能力，卻容易受到光照、遮擋等環(huán)境因素的影響，導(dǎo)致障礙物識(shí)別不完整、可通行區(qū)域劃分模糊，難以滿足復(fù)雜場(chǎng)景下的導(dǎo)航定位精度要求。現(xiàn)有融合方案雖嘗試結(jié)合多模態(tài)數(shù)據(jù)，但存在數(shù)據(jù)對(duì)齊效率低、特征融合不充分、模型泛化能力不足等問題，導(dǎo)致導(dǎo)航地圖構(gòu)建誤差較大，系統(tǒng)魯棒性欠佳。

2、因此，如何提升復(fù)雜場(chǎng)景下導(dǎo)航定位的準(zhǔn)確性與可靠性，是一個(gè)亟待解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)實(shí)施例提供的一種激光視覺融合導(dǎo)航定位方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，能夠提升復(fù)雜場(chǎng)景下導(dǎo)航定位的準(zhǔn)確性與可靠性。本技術(shù)實(shí)施例提供的一種激光視覺融合導(dǎo)航定位方法及裝置、設(shè)備、存儲(chǔ)介質(zhì)是這樣實(shí)現(xiàn)的：

2、獲取當(dāng)前區(qū)域的點(diǎn)云數(shù)據(jù)以及圖像數(shù)據(jù)，對(duì)所述點(diǎn)云數(shù)據(jù)以及所述圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)對(duì)齊；

3、對(duì)對(duì)齊后的所述點(diǎn)云數(shù)據(jù)以及所述圖像數(shù)據(jù)進(jìn)行融合轉(zhuǎn)換處理，得到融合地圖；

4、根據(jù)所述融合地圖以及預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型，得到多個(gè)目標(biāo)識(shí)別結(jié)果，所述多個(gè)目標(biāo)識(shí)別結(jié)果包括可通行區(qū)域、障礙物類別以及位置信息，所述預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型是根據(jù)在歷史導(dǎo)航定位場(chǎng)景下采集到的樣本數(shù)據(jù)對(duì)初始神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練得到的，所述樣本數(shù)據(jù)包括在所述歷史導(dǎo)航定位場(chǎng)景下采集的多張歷史融合地圖以及所述歷史導(dǎo)航定位場(chǎng)景下的多個(gè)可通行區(qū)域、多個(gè)歷史障礙物類別以及多個(gè)位置信息；

5、對(duì)所述多個(gè)目標(biāo)識(shí)別結(jié)果按照公式（1）進(jìn)行融合處理，得到導(dǎo)航定位地圖，所述導(dǎo)航定位地圖用于導(dǎo)航定位；

6、（1）

7、其中，為導(dǎo)航定位地圖，為所述目標(biāo)識(shí)別結(jié)果的數(shù)量，為第i個(gè)目標(biāo)識(shí)別結(jié)果的權(quán)重系數(shù)，為第i個(gè)目標(biāo)識(shí)別結(jié)果，ci為第i個(gè)目標(biāo)識(shí)別結(jié)果的置信度。

8、在一些實(shí)施例中，所述根據(jù)所述融合地圖以及預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型，得到多個(gè)目標(biāo)識(shí)別結(jié)果，包括：

9、對(duì)所述融合地圖進(jìn)行歸一化處理，得到歸一化后的融合地圖；

10、對(duì)所述歸一化后的融合地圖進(jìn)行特征提取，得到多尺度特征圖；

11、對(duì)所述多尺度特征圖進(jìn)行多任務(wù)分支處理，得到可通行區(qū)域、障礙物類別以及位置信息。

12、在一些實(shí)施例中，所述多任務(wù)分支包括可通行區(qū)域分割分支、障礙物類別識(shí)別分支以及位置信息提取分支，所述對(duì)所述多尺度特征圖進(jìn)行多任務(wù)分支處理，得到可通行區(qū)域、障礙物類別以及位置信息，包括：

13、通過可通行區(qū)域分割分支對(duì)所述多尺度特征圖進(jìn)行上采樣處理，將上采樣處理后的多尺度特征圖輸入到預(yù)設(shè)的概率預(yù)測(cè)函數(shù)進(jìn)行計(jì)算，得到可通行區(qū)域；

14、通過障礙物類別識(shí)別分支對(duì)所述多尺度特征圖進(jìn)行映射處理，得到所述多尺度特征圖中每個(gè)障礙物類別的可能性得分，確定可能性得分最高的障礙物類別為當(dāng)前障礙物類別；

15、通過位置信息提取分支對(duì)所述多尺度特征圖進(jìn)行信息提取處理，得到位置信息，所述位置信息包括空間坐標(biāo)、相對(duì)位置關(guān)系以及定位置信度中的至少一種。

16、在一些實(shí)施例中，所述獲取當(dāng)前區(qū)域的點(diǎn)云數(shù)據(jù)以及圖像數(shù)據(jù)，對(duì)所述點(diǎn)云數(shù)據(jù)以及所述圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)對(duì)齊，包括：

17、獲取當(dāng)前區(qū)域的所述點(diǎn)云數(shù)據(jù)的時(shí)間戳、所述圖像數(shù)據(jù)的時(shí)間戳以及所述點(diǎn)云數(shù)據(jù)與所述圖像數(shù)據(jù)之間的外參矩陣，所述外參矩陣包括旋轉(zhuǎn)參數(shù)以及平移向量；

18、根據(jù)時(shí)間插值法對(duì)所述點(diǎn)云數(shù)據(jù)的時(shí)間戳以及所述圖像數(shù)據(jù)的時(shí)間戳進(jìn)行對(duì)齊；

19、根據(jù)所述旋轉(zhuǎn)參數(shù)對(duì)所述點(diǎn)云數(shù)據(jù)與所述圖像數(shù)據(jù)進(jìn)行旋轉(zhuǎn)對(duì)齊，以及根據(jù)所述平移向量對(duì)所述點(diǎn)云數(shù)據(jù)與所述圖像數(shù)據(jù)進(jìn)行平移對(duì)齊。

20、在一些實(shí)施例中，所述融合地圖包括動(dòng)態(tài)區(qū)域以及靜態(tài)區(qū)域，所述對(duì)對(duì)齊后的所述點(diǎn)云數(shù)據(jù)以及所述圖像數(shù)據(jù)進(jìn)行融合轉(zhuǎn)換處理，得到融合地圖后，還包括：

21、對(duì)所述融合地圖按照預(yù)設(shè)的區(qū)域分割方式進(jìn)行分割，得到分割后的融合地圖，所述分割后的融合地圖包括多個(gè)不同區(qū)域；

22、根據(jù)視覺語義算法對(duì)所述分割后的融合地圖進(jìn)行語義識(shí)別，得到所述融合地圖中多個(gè)不同區(qū)域的語義類別，所述語義類別包括動(dòng)態(tài)物體以及靜態(tài)物體；

23、計(jì)算所述分割后的融合地圖中多個(gè)不同區(qū)域中的點(diǎn)云數(shù)據(jù)的運(yùn)動(dòng)向量，將所述語義類別為動(dòng)態(tài)物體且運(yùn)動(dòng)向量大于預(yù)設(shè)運(yùn)動(dòng)閾值的區(qū)域標(biāo)記為動(dòng)態(tài)區(qū)域；

24、將所述動(dòng)態(tài)區(qū)域?qū)?yīng)的點(diǎn)云數(shù)據(jù)和圖像數(shù)據(jù)進(jìn)行剔除處理，得到處理后的融合地圖。

25、在一些實(shí)施例中，所述對(duì)所述多個(gè)目標(biāo)識(shí)別結(jié)果進(jìn)行融合處理，得到導(dǎo)航定位地圖，包括：

26、根據(jù)證據(jù)理論算法對(duì)所述多個(gè)目標(biāo)識(shí)別結(jié)果進(jìn)行計(jì)算，得到所述多個(gè)目標(biāo)識(shí)別結(jié)果中不同目標(biāo)識(shí)別結(jié)果的多個(gè)結(jié)果置信度；

27、對(duì)不同目標(biāo)識(shí)別結(jié)果的多個(gè)結(jié)果置信度進(jìn)行概率分配計(jì)算，得到不同目標(biāo)識(shí)別結(jié)果的識(shí)別準(zhǔn)確率；

28、根據(jù)所述識(shí)別準(zhǔn)確率確定當(dāng)前識(shí)別準(zhǔn)確率對(duì)應(yīng)的目標(biāo)識(shí)別結(jié)果的目標(biāo)類別，根據(jù)所述目標(biāo)類別生成導(dǎo)航定位地圖。

29、在一些實(shí)施例中，所述對(duì)所述融合地圖進(jìn)行歸一化處理，得到歸一化后的融合地圖前，還包括：

30、對(duì)所述融合地圖進(jìn)行雙邊濾波去噪處理，得到處理后的融合地圖。

31、本技術(shù)實(shí)施例提供的一種激光視覺融合導(dǎo)航定位裝置，包括：

32、獲取模塊，用于獲取當(dāng)前區(qū)域的點(diǎn)云數(shù)據(jù)以及圖像數(shù)據(jù)，對(duì)所述點(diǎn)云數(shù)據(jù)以及所述圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)對(duì)齊；

33、處理模塊，用于對(duì)對(duì)齊后的所述點(diǎn)云數(shù)據(jù)以及所述圖像數(shù)據(jù)進(jìn)行融合轉(zhuǎn)換處理，得到融合地圖；

34、識(shí)別模塊，用于根據(jù)所述融合地圖以及預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型，得到多個(gè)目標(biāo)識(shí)別結(jié)果，所述多個(gè)目標(biāo)識(shí)別結(jié)果包括可通行區(qū)域、障礙物類別以及位置信息，所述預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型是根據(jù)在歷史導(dǎo)航定位場(chǎng)景下采集到的樣本數(shù)據(jù)對(duì)初始神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練得到的，所述樣本數(shù)據(jù)包括在所述歷史導(dǎo)航定位場(chǎng)景下采集的多張歷史融合地圖以及所述歷史導(dǎo)航定位場(chǎng)景下的多個(gè)可通行區(qū)域、多個(gè)歷史障礙物類別以及多個(gè)位置信息；

35、融合模塊，用于對(duì)所述多個(gè)目標(biāo)識(shí)別結(jié)果按照公式（1）進(jìn)行融合處理，得到導(dǎo)航定位地圖，所述導(dǎo)航定位地圖用于導(dǎo)航定位；

36、（1）

37、其中，為導(dǎo)航定位地圖，為所述目標(biāo)識(shí)別結(jié)果的數(shù)量，為第i個(gè)目標(biāo)識(shí)別結(jié)果的權(quán)重系數(shù)，為第i個(gè)目標(biāo)識(shí)別結(jié)果，ci為第i個(gè)目標(biāo)識(shí)別結(jié)果的置信度。

38、本技術(shù)實(shí)施例提供的計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)本技術(shù)實(shí)施例所述的方法。

39、本技術(shù)實(shí)施例提供的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本技術(shù)實(shí)施例提供的所述的方法。

40、本技術(shù)實(shí)施例所提供的一種激光視覺融合導(dǎo)航定位方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，包括：獲取當(dāng)前區(qū)域的點(diǎn)云數(shù)據(jù)與圖像數(shù)據(jù)，通過數(shù)據(jù)對(duì)齊實(shí)現(xiàn)校準(zhǔn)；對(duì)對(duì)齊后的數(shù)據(jù)進(jìn)行融合轉(zhuǎn)換處理，生成包含幾何結(jié)構(gòu)與語義信息的融合地圖；根據(jù)融合地圖以及預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型，基于預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型從融合地圖中識(shí)別可通行區(qū)域、障礙物類別及位置信息；將上述多目標(biāo)識(shí)別結(jié)果融合，生成導(dǎo)航定位地圖，為導(dǎo)航系統(tǒng)提供環(huán)境模型支撐。這樣，通過得到的導(dǎo)航定位地圖進(jìn)行導(dǎo)航定位，提升了復(fù)雜場(chǎng)景下導(dǎo)航定位的準(zhǔn)確性與可靠性，解決背景技術(shù)中所提出的技術(shù)問題。