本技術涉及機器視覺，尤其涉及一種管道威脅行為的識別方法、裝置及存儲介質。

背景技術：

1、作為貫通油氣生產和消費的“大動脈”，油氣長輸管道口徑大、壓力高、運距長，涉及多種復雜環境，潛在風險因素諸多，一旦發生泄漏或者爆炸事故，將嚴重威脅人民群眾的生命和財產安全，在管道線路中心線兩側各五米地域范圍內，禁止種植深根植物、從事施工活動、建設活動等。

2、然而上述危害管道安全的行為卻屢禁不止，尤其是挖掘行為，可能破壞管道的伴行光纜乃至管體本身，對管道造成極大的危害和損傷，形成不可逆轉的損失。因此，必須加強對管道的巡護，及時發現和制止管道威脅行為。無人機管道巡檢因其自動化程度高，巡檢效率高，而在油氣長輸管道巡檢中得到了廣泛的應用。

3、無人機搭載高清相機可以對挖掘等管道威脅行為進行成像監測，基于視頻/圖像的目標識別技術經過了多年的發展在一些領域已經取得了極大的成功。基于在線監測攝像頭、無人機圖像識別施工機械、占壓等也已經成為了熱點研究內容，并取得了一定的效果。

4、但是目前對施工機械、人員等的識別存在以下問題：（1）容易將正常行駛的施工機械、正常行走的人員等誤報為管道威脅目標，增加報警復核的工作量；（2）不能有效預警威脅的嚴重程度，如正在作業的挖掘機等與未作業的挖掘機對管道的威脅程度不同，一般的目標檢測方法無法實現這類判別；（3）數據回傳到服務器上進行目標識別，受鏈路影響較大，數據傳輸壓力大，在長距離巡檢時容易發生鏈路信號不穩定導致的漏檢，而機載端邊緣計算設備算力有限。

5、因此，亟需一種識別準確率高、輕量化部署的管道威脅行為的識別方法。

技術實現思路

1、本技術的目的在于提供一種管道威脅行為的識別方法、裝置及存儲介質，旨在解決現有的行為識別方法的識別準確率較低、無法輕量化部署的技術問題。

2、為達到上述目的，本技術采用如下技術方案：

3、第一方面，本技術提供一種管道威脅行為的識別方法，所述方法包括：

4、獲取無人機巡檢拍攝的待檢測視頻；

5、針對所述待檢測視頻的圖像幀進行目標檢測，確定各所述圖像幀中檢測對象的目標檢測框和各所述檢測對象的目標類別；

6、針對所述目標檢測框進行軌跡跟蹤，得到各所述檢測對象的目標軌跡；

7、提取各所述檢測對象的行為特征，所述行為特征包括：所述檢測對象的檢測框的形態變化特征和所述檢測對象的目標軌跡的軌跡特征；

8、針對各所述檢測對象，基于所述目標類別、所述檢測對象的行為特征，以及預訓練的分類模型，對所述檢測對象進行管道威脅行為的識別。

9、可見，本技術實施例提供的管道威脅行為的識別方法，適用于無人機管道巡檢的應用場景，能夠有效檢測人員、車輛等小目標，并有效判定人員徘徊、人員挖掘、機械挖掘等威脅行為。且并非基于計算復雜度要求較高的大模型進行實現，算法具有輕量化特點，可以部署于機載邊緣計算設備上，有效降低誤報，提升管道威脅目標識別的準確率，有效支撐“智能管道線路”建設，保障油氣長輸管道安全穩定運行。

10、在一些實施例中，所述軌跡特征包括：

11、所述軌跡特征包括：軌跡曲率、軌跡光滑性、軌跡方向變化率中的至少一項；所述形態變化特征包括：長寬比變化參數。

12、在一些實施例中，所述針對所述目標檢測框進行軌跡跟蹤，得到各所述檢測對象的目標軌跡，包括：

13、基于所述目標檢測框的屬性信息，建立相鄰圖像幀之間所述目標檢測框的關聯關系；

14、基于處于不同圖像幀的、存在關聯關系的所述目標檢測框，構建所述目標檢測框對應的檢測對象的目標軌跡。

15、在一些實施例中，所述屬性信息包括檢測框中心坐標、檢測框的大小、長寬比、檢測框的坐標變化速率、檢測框的大小變化速率中的至少一項。

16、在一些實施例中，所述獲取無人機巡檢拍攝的待檢測視頻，包括：

17、獲取所述無人機沿航線飛行的狀態下拍攝的鳥瞰視頻；

18、基于轉換時間點，對所述候選視頻進行切分，得到所述待檢測視頻；其中，所述轉換時間點表征所述無人機在沿所述航線飛行時進行轉彎的時間點。

19、在一些實施例中，所述檢測對象包括：人員和/或施工機械，所述管道威脅行為包括：人員靜止、人員挖掘、人員徘徊、施工機械靜止和施工機械挖掘中的至少一項；

20、所述方法還包括：基于所識別的管道威脅行為進行分級預警。

21、在一些實施例中，所述針對所述待檢測視頻的圖像幀進行目標檢測，包括：基于檢測模型對所述圖像幀進行目標檢測；

22、所述檢測模型的head層設置有第一網格結構，所述第一網格結構用于基于查詢鍵向量和查詢值向量生成查詢特征向量，所述查詢鍵向量用于表征粗特征圖中目標的粗略預測位置，所述查詢值向量用于表征細特征圖的特征信息，所述查詢特征向量用于實現類別預測和/或邊界框回歸。

23、第二方面，本技術提供一種管道威脅行為的識別裝置，該裝置包括：

24、獲取模塊，用于獲取無人機巡檢拍攝的待檢測視頻；

25、檢測模塊，用于針對所述待檢測視頻的圖像幀進行目標檢測，確定各所述圖像幀中檢測對象的目標檢測框和各所述檢測對象的目標類別；

26、跟蹤模塊，用于針對所述目標檢測框進行軌跡跟蹤，得到各所述檢測對象的目標軌跡；

27、提取模塊，用于提取各所述檢測對象的行為特征，所述行為特征包括：所述檢測對象的檢測框的形態變化特征和所述檢測對象的目標軌跡的軌跡特征；

28、識別模塊，用于針對各所述檢測對象，基于所述目標類別、所述檢測對象的行為特征，以及預訓練的分類模型，對所述檢測對象進行管道威脅行為的識別。

29、可見，本技術實施例提供的管道威脅行為的識別方法，適用于無人機管道巡檢的應用場景，能夠有效檢測人員、車輛等小目標，并有效判定人員徘徊、人員挖掘、機械挖掘等威脅行為。且并非基于計算復雜度要求較高的大模型進行實現，算法具有輕量化特點，可以部署于機載邊緣計算設備上，有效降低誤報，提升管道威脅目標識別的準確率，有效支撐“智能管道線路”建設，保障油氣長輸管道安全穩定運行。

30、在一些實施例中，所述軌跡特征包括：

31、所述軌跡特征包括：軌跡曲率、軌跡光滑性、軌跡方向變化率中的至少一項；所述形態變化特征包括：長寬比變化參數。

32、在一些實施例中，所跟蹤模塊，具體用于：

33、基于所述目標檢測框的屬性信息，建立相鄰圖像幀之間所述目標檢測框的關聯關系；

34、基于處于不同圖像幀的、存在關聯關系的所述目標檢測框，構建所述目標檢測框對應的檢測對象的目標軌跡。

35、在一些實施例中，所述屬性信息包括檢測框中心坐標、檢測框的大小、長寬比、檢測框的坐標變化速率、檢測框的大小變化速率中的至少一項。

36、在一些實施例中，所述獲取模塊，具體用于：

37、獲取所述無人機沿航線飛行的狀態下拍攝的鳥瞰視頻；

38、基于轉換時間點，對所述候選視頻進行切分，得到所述待檢測視頻；其中，所述轉換時間點表征所述無人機在沿所述航線飛行時進行轉彎的時間點。

39、在一些實施例中，所述檢測對象包括：人員和/或施工機械，所述管道威脅行為包括：人員靜止、人員挖掘、人員徘徊、施工機械靜止和施工機械挖掘中的至少一項；

40、所述裝置還包括：

41、預警模塊，用于基于所識別的管道威脅行為進行分級預警。

42、第三方面，本技術提供了一種管道威脅行為的識別裝置，該裝置包括：處理器和存儲器；所述處理器和所述存儲器耦合；所述存儲器用于存儲一個或多個程序，該一個或多個程序包括計算機執行指令，當該管道威脅行為的識別裝置運行時，處理器執行該存儲器存儲的該計算機執行指令，以實現如第一方面和第一方面的任一種可能的實現方式中所描述的方法。

43、第四方面，本技術提供了一種計算機可讀存儲介質，計算機可讀存儲介質中存儲有指令，當指令在計算機上運行時，使得計算機執行上述第一方面和第一方面的任一種可能的實現方式中所描述的方法。

44、第五方面，本技術提供一種芯片，芯片包括處理器和通信接口，通信接口和處理器耦合，處理器用于運行計算機程序或指令，以實現如第一方面和第一方面的任一種可能的實現方式中所描述的方法。

45、第六方面，本技術提供一種包含指令的計算機程序產品，當指令被計算機運行時，使得計算機執行上述第一方面和第一方面的任一種可能的實現方式中所描述的方法。

46、上述方案中，管道威脅行為的識別裝置、計算機設備、計算機存儲介質、芯片或者計算機程序產品所能解決的技術問題以及實現的技術效果可以參見上述第一方面所解決的技術問題以及技術效果，在此不再贅述。