本發(fā)明涉及區(qū)域人體識別，具體是指基于人工智能的危險區(qū)域人體識別方法及系統(tǒng)。

背景技術(shù)：

1、危險區(qū)域人體識別指的是利用計算機視覺、深度學(xué)習(xí)等技術(shù)，對進(jìn)入特定危險區(qū)域的人員進(jìn)行實時識別和監(jiān)控的過程。該技術(shù)通過對人物的外貌、行為、姿態(tài)等特征進(jìn)行分析，自動判斷其是否進(jìn)入了需要限制或警示的區(qū)域。這種技術(shù)能夠有效預(yù)防安全事故，及時發(fā)現(xiàn)潛在風(fēng)險，保障人員安全，為應(yīng)急響應(yīng)提供精準(zhǔn)數(shù)據(jù)支持。

2、然而，傳統(tǒng)的危險區(qū)域人體識別方法存在依賴單一模態(tài)或簡單級聯(lián)融合，且無法有效解決多模態(tài)沖突，導(dǎo)致模態(tài)信息不完整、特征交互粗糙、特征混淆和噪聲引入，降低了模型在極端復(fù)雜區(qū)域環(huán)境下的準(zhǔn)確性的技術(shù)問題；傳統(tǒng)的危險區(qū)域人體識別方法存在采用固定網(wǎng)絡(luò)結(jié)構(gòu)，缺乏環(huán)境自適應(yīng)能力，且忽略時序關(guān)聯(lián)，無法在條件復(fù)雜區(qū)域場景下動態(tài)調(diào)整計算策略，導(dǎo)致資源浪費或性能下降的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、針對上述情況，為克服現(xiàn)有技術(shù)的缺陷，本發(fā)明提供了基于人工智能的危險區(qū)域人體識別方法及系統(tǒng)，針對傳統(tǒng)的危險區(qū)域人體識別方法存在依賴單一模態(tài)或簡單級聯(lián)融合，且無法有效解決多模態(tài)沖突，導(dǎo)致模態(tài)信息不完整、特征交互粗糙、特征混淆和噪聲引入，降低了模型在極端復(fù)雜區(qū)域環(huán)境下的準(zhǔn)確性的技術(shù)問題，本方案創(chuàng)造性地采用了雙分支特征提取網(wǎng)絡(luò)提取雙模態(tài)特征信息，通過獨立處理可見光與紅外數(shù)據(jù)，充分利用兩種模態(tài)的互補性，同時通過跨模態(tài)交互門控機制實現(xiàn)特征動態(tài)互補，避免單一模態(tài)信息不足導(dǎo)致的漏檢或誤檢；針對傳統(tǒng)的危險區(qū)域人體識別方法存在采用固定網(wǎng)絡(luò)結(jié)構(gòu)，缺乏環(huán)境自適應(yīng)能力，且忽略時序關(guān)聯(lián)，無法在條件復(fù)雜區(qū)域場景下動態(tài)調(diào)整計算策略，導(dǎo)致資源浪費、性能下降的技術(shù)問題，本方案創(chuàng)造性地采用了多路徑識別網(wǎng)絡(luò)模型進(jìn)行區(qū)域內(nèi)人體識別，實現(xiàn)了環(huán)境自適應(yīng)的精細(xì)化推理，通過動態(tài)分配計算資源并建模時序依賴消除運動模糊和瞬時干擾，提升了模型在動態(tài)危險場景中的實時性和準(zhǔn)確性。

2、本發(fā)明采取的技術(shù)方案如下：本發(fā)明提供的基于人工智能的危險區(qū)域人體識別方法，該方法包括以下步驟：

3、步驟s1：數(shù)據(jù)采集；

4、步驟s2：數(shù)據(jù)預(yù)處理；

5、步驟s3：雙分支特征提取網(wǎng)絡(luò)構(gòu)建；

6、步驟s4：人體識別模型構(gòu)建；

7、步驟s5：危險區(qū)域人體識別。

8、進(jìn)一步地，在步驟s1中，所述數(shù)據(jù)采集，用于采集識別危險區(qū)域人體所需的原始數(shù)據(jù)，具體為通過從監(jiān)控系統(tǒng)和傳感器系統(tǒng)中進(jìn)行數(shù)據(jù)采集，得到原始區(qū)域識別數(shù)據(jù)集；

9、所述原始區(qū)域識別數(shù)據(jù)集，具體包括歷史原始數(shù)據(jù)集和當(dāng)前原始數(shù)據(jù)集，所述歷史原始數(shù)據(jù)集和所述當(dāng)前原始數(shù)據(jù)集，具體都包括可見光圖像數(shù)據(jù)、紅外圖像數(shù)據(jù)和環(huán)境傳感器數(shù)據(jù)，所述歷史原始數(shù)據(jù)集，還包括標(biāo)簽數(shù)據(jù)。

10、進(jìn)一步地，在步驟s2中，所述數(shù)據(jù)預(yù)處理，用于對采集到的原始區(qū)域識別數(shù)據(jù)進(jìn)行預(yù)處理，具體包括以下步驟：

11、步驟s21：數(shù)據(jù)清洗，用于清洗原始區(qū)域識別數(shù)據(jù)，具體為去除所述歷史原始數(shù)據(jù)集和所述當(dāng)前原始數(shù)據(jù)集中的缺失值、重復(fù)值和噪聲并裁剪圖像數(shù)據(jù)無關(guān)區(qū)域，得到歷史初步數(shù)據(jù)集和當(dāng)前初步數(shù)據(jù)集；

12、步驟s22：圖像增強，用于對初步數(shù)據(jù)中的圖像數(shù)據(jù)進(jìn)行對比度增強，具體為采用直方圖均衡法增強所述歷史初步數(shù)據(jù)集和所述當(dāng)前初步數(shù)據(jù)集中的圖像數(shù)據(jù)的對比度，得到歷史增強數(shù)據(jù)集和當(dāng)前增強數(shù)據(jù)集；

13、步驟s23：數(shù)據(jù)標(biāo)準(zhǔn)化，用于標(biāo)準(zhǔn)化增強數(shù)據(jù)，具體為采用最小-最大歸一化法對所述歷史增強數(shù)據(jù)集和當(dāng)前增強數(shù)據(jù)集進(jìn)行處理，得到歷史標(biāo)準(zhǔn)化數(shù)據(jù)集和待識別數(shù)據(jù)集；

14、步驟s24：數(shù)據(jù)集分割，用于分割數(shù)據(jù)集，具體為對所述歷史標(biāo)準(zhǔn)化數(shù)據(jù)集進(jìn)行分割，得到識別訓(xùn)練集和識別測試集；

15、步驟s25：進(jìn)行預(yù)處理，具體為通過所述數(shù)據(jù)清洗、所述圖像增強和所述數(shù)據(jù)標(biāo)準(zhǔn)化，對所述當(dāng)前原始數(shù)據(jù)集進(jìn)行預(yù)處理，得到待識別數(shù)據(jù)集，通過所述數(shù)據(jù)清洗、所述圖像增強、所述數(shù)據(jù)標(biāo)準(zhǔn)化和所述數(shù)據(jù)集分割，對所述歷史原始數(shù)據(jù)集進(jìn)行預(yù)處理，得到識別訓(xùn)練集和識別測試集。

16、進(jìn)一步地，在步驟s3中，所述雙分支特征提取網(wǎng)絡(luò)構(gòu)建，用于構(gòu)建特征提取所需的網(wǎng)絡(luò)模型，所述雙分支特征提取網(wǎng)絡(luò)，具體包括可見光分支、紅外分支和分支特征融合模塊，所述雙分支特征提取網(wǎng)絡(luò)構(gòu)建，具體包括以下步驟：

17、步驟s31：構(gòu)造可見光分支，用于可見光圖像數(shù)據(jù)特征提取，步驟包括：

18、步驟s311：動態(tài)卷積核生成，所用公式如下：

19、；

20、式中，表示第l層卷積層擴張率為k的卷積核權(quán)重，表示softmax函數(shù)，表示多層感知機運行函數(shù)，表示光照強度傳感器數(shù)據(jù)，表示全局平均池化函數(shù)，表示第l-1層卷積層可見光圖像特征，表示拼接操作；

21、步驟s312：融合多尺度卷積，所用公式如下：

22、；

23、式中，表示第l層卷積層可見光圖像特征，表示第l層卷積層擴張率為k的3×3卷積函數(shù)；

24、步驟s313：設(shè)計可見光分支注意力機制，所用公式如下：

25、；

26、式中，表示可見光分支查詢矩陣，表示可見光分支鍵矩陣，表示可見光分支查詢變換矩陣，表示可見光分支鍵變換矩陣，表示第l層卷積層可見光圖像特征，l表示可見光分支卷積層層數(shù)，表示可見光分支注意力得分，表示可見光分支鍵矩陣的維度，t表示轉(zhuǎn)置操作；

27、步驟s314：計算可見光分支輸出，所用公式如下：

28、；

29、式中，表示可見光分支輸出特征，表示可見光分支值變換矩陣；

30、步驟s32：構(gòu)造紅外分支，用于紅外圖像數(shù)據(jù)特征提取，步驟包括：

31、步驟s321：溫度梯度計算，所用公式如下：

32、；

33、式中，表示水平方向梯度，表示紅外圖像輸入數(shù)據(jù)，表示sobel水平梯度算子，表示垂直方向梯度，表示sobel垂直梯度算子，表示卷積操作；

34、步驟s322：梯度特征融合，所用公式如下：

35、；

36、式中，表示第l層卷積層紅外圖像特征，表示卷積操作函數(shù)，表示第l-1層卷積層紅外圖像特征，表示第l層卷積層可學(xué)習(xí)卷積核，表示梯度增強系數(shù)；

37、步驟s323：獲取熱輻射損失，所用公式如下：

38、；

39、式中，表示熱輻射損失，表示第l層卷積層紅外圖像特征，表示可學(xué)習(xí)發(fā)射率參數(shù)，表示斯特藩-玻爾茲曼常數(shù)，tep表示紅外圖像數(shù)據(jù)的溫度分布，表示紅外圖像數(shù)據(jù)背景區(qū)域估計的環(huán)境溫度，表示計算l2范數(shù)；

40、步驟s324：紅外圖像特征修正，所用公式如下：

41、；

42、式中，表示紅外分支輸出特征，表示紅外圖像特征修正強度系數(shù)；

43、步驟s33：構(gòu)造分支特征融合模塊，用于融合可見光分支提取的特征和紅外分支提取的特征，步驟包括：

44、步驟s331：門控權(quán)重生成，所用公式如下：

45、；

46、式中，表示用于控制從可見光分支輸出特征到紅外分支輸出特征的信息傳遞的門控權(quán)重，表示用于控制從紅外分支輸出特征到可見光分支輸出特征的信息傳遞的門控權(quán)重，表示sigmoid函數(shù)，表示用于處理從可見光分支輸出特征到紅外分支輸出特征的信息交互的可學(xué)習(xí)權(quán)重矩陣，表示用于處理從紅外分支輸出特征到可見光分支輸出特征的信息交互的可學(xué)習(xí)權(quán)重矩陣；

47、步驟s332：融合分支特征，所用公式如下：

48、；

49、式中，表示雙分支融合特征，表示紅外分支通道擴展矩陣，表示可見光分支通道擴展矩陣，表示逐元素乘法；

50、步驟s34：構(gòu)建雙分支特征提取網(wǎng)絡(luò)，具體為通過所述構(gòu)造可見光分支、所述構(gòu)造紅外分支和所述構(gòu)造分支特征融合模塊，進(jìn)行雙分支特征提取網(wǎng)絡(luò)的構(gòu)建，得到雙分支特征提取網(wǎng)絡(luò)。

51、進(jìn)一步地，在步驟s4中，所述人體識別模型構(gòu)建，用于構(gòu)建危險區(qū)域人體識別所需的模型，具體為構(gòu)建多路徑識別網(wǎng)絡(luò)模型，作為人體識別模型；

52、所述人體識別模型構(gòu)建，具體包括以下步驟：

53、步驟s41：自適應(yīng)路徑權(quán)重生成，用于生成路徑權(quán)重，所用公式如下：

54、；

55、式中，表示自適應(yīng)路徑權(quán)重，表示環(huán)境溫度傳感器數(shù)據(jù)，表示溫度系數(shù)；

56、步驟s42：多處理路徑構(gòu)建，用于構(gòu)建處理不同場景下危險區(qū)域人體識別任務(wù)所需的特征處理路徑，步驟包括：

57、步驟s421：高精度路徑構(gòu)建，用于清晰穩(wěn)定場景下的高精度的特征處理，具體為結(jié)合多粒度金字塔和交叉注意力機制構(gòu)建高精度路徑，步驟包括：

58、步驟s4211：構(gòu)建多粒度金字塔，所用公式如下：

59、；

60、式中，表示雙分支融合特征經(jīng)過3×3卷積處理后的特征，表示雙分支融合特征經(jīng)過5×5卷積處理后的特征，表示雙分支融合特征經(jīng)過7×7卷積處理后的特征，表示卷積核大小為3×3的卷積函數(shù)，表示卷積核大小為5×5的卷積函數(shù)，表示卷積核大小為7×7的卷積函數(shù)；

61、步驟s4212：計算交叉注意力得分，所用公式如下：

62、；

63、式中，表示交叉注意力得分，表示交叉注意力查詢變換矩陣，表示交叉注意力鍵變換矩陣，表示交叉注意力鍵的維度；

64、步驟s4213：獲取高精度路徑輸出，所用公式如下：

65、；

66、式中，表示高精度路徑輸出特征，表示交叉注意力值變換矩陣，表示特征拼接操作函數(shù)；

67、步驟s422：高穩(wěn)健路徑構(gòu)建，用于干擾復(fù)雜場景下的高穩(wěn)健的特征處理，具體為通過對抗訓(xùn)練生成干擾噪聲，并學(xué)習(xí)抑制噪聲的特征表示，步驟包括：

68、步驟s4221：計算對抗損失，所用公式如下：

69、；

70、式中，表示對抗損失，表示期望計算函數(shù)，表示判別器單元運行函數(shù)，表示包含噪聲的特征，表示去噪后的特征；

71、步驟s4222：生成環(huán)境噪聲，所用公式如下：

72、；

73、式中，表示環(huán)境噪聲特征，表示噪聲強度系數(shù)，表示符號函數(shù)，表示對抗損失對雙分支融合特征的梯度；

74、步驟s4223：環(huán)境噪聲抑制，所用公式如下：

75、；

76、式中，表示噪聲抑制特征，表示噪聲抑制可學(xué)習(xí)卷積核；

77、步驟s4224：計算一致性損失，所用公式如下：

78、；

79、式中，表示一致性損失，表示可變形卷積函數(shù)，表示當(dāng)前幀可變形卷積偏移量，表示當(dāng)前幀噪聲抑制特征，表示前一幀噪聲抑制特征；

80、步驟s4225：噪聲抑制特征修正，所用公式如下：

81、；

82、式中，表示高穩(wěn)健路徑輸出特征，表示噪聲抑制特征修正強度系數(shù)；

83、步驟s423：輕量化路徑構(gòu)建，用于計算資源受限場景下的簡單快速的特征處理，具體為結(jié)合通道動態(tài)剪枝和二值化卷積構(gòu)建輕量化路徑，步驟包括：

84、步驟s4231：通道掩碼生成，所用公式如下：

85、；

86、式中，表示通道掩碼，表示進(jìn)行降序排列并取前k個值；

87、步驟s4232：特征剪枝，所用公式如下：

88、；

89、式中，表示剪枝特征；

90、步驟s4233：設(shè)計二值化卷積，所用公式如下：

91、；

92、式中，表示二值化卷積特征，表示二值化卷積函數(shù)，表示可學(xué)習(xí)二值化卷積核，其權(quán)重被限制為-1或1；

93、步驟s4234：設(shè)計殘差連接，所用公式如下：

94、；

95、式中，表示輕量化路徑輸出特征，表示卷積核大小為1×1的卷積函數(shù)；

96、步驟s424：多路徑特征融合，所用公式如下：

97、；

98、式中，表示多路徑融合特征，表示自適應(yīng)高精度路徑權(quán)重，表示自適應(yīng)高穩(wěn)健路徑權(quán)重，表示自適應(yīng)輕量化路徑權(quán)重；

99、步驟s43：設(shè)計時空因果融合模塊，用于消除人體識別時環(huán)境干擾帶來的時空偽影，步驟包括：

100、步驟s431：時序因果卷積，所用公式如下：

101、；

102、式中，表示因果卷積特征，表示三維因果卷積，表示可學(xué)習(xí)因果卷積核；

103、步驟s432：設(shè)計空間注意力，所用公式如下：

104、；

105、式中，表示時空因果特征，表示空間注意力查詢變換矩陣，表示空間注意力鍵變換矩陣，表示空間注意力值變換矩陣，表示空間注意力鍵的維度；

106、步驟s44：設(shè)計輸出模塊，用于獲取目標(biāo)邊界框和人體識別置信度，所用公式如下：

107、；

108、式中，b表示輸出的目標(biāo)邊界框，c表示輸出的人體識別置信度，表示邊界框輸出權(quán)重矩陣，表示置信度輸出權(quán)重矩陣；

109、步驟s45，設(shè)計損失函數(shù)，所用公式如下：

110、；

111、式中，表示模型總損失值，表示焦點損失函數(shù)，表示二元交叉熵?fù)p失函數(shù)；

112、步驟s46：構(gòu)建模型并訓(xùn)練，具體為通過所述自適應(yīng)路徑權(quán)重生成、所述多處理路徑構(gòu)建、所述設(shè)計時空因果融合模塊、所述設(shè)計輸出模塊和所述設(shè)計損失函數(shù)，進(jìn)行多路徑識別網(wǎng)絡(luò)模型的構(gòu)建，基于所述識別訓(xùn)練集訓(xùn)練模型，基于所述識別測試集驗證模型性能，得到多路徑識別網(wǎng)絡(luò)模型，并作為人體識別模型。

113、進(jìn)一步地，在步驟s5中，所述危險區(qū)域人體識別，具體為采用所述雙分支特征提取網(wǎng)絡(luò)對所述待識別數(shù)據(jù)集進(jìn)行特征提取，之后采用所述人體識別模型對基于待識別數(shù)據(jù)集提取的雙分支融合特征進(jìn)行區(qū)域內(nèi)人體識別，得到區(qū)域內(nèi)識別參考數(shù)據(jù)，并基于所述區(qū)域內(nèi)識別參考數(shù)據(jù)判斷危險區(qū)域內(nèi)是否存在人員。

114、本發(fā)明提供的基于人工智能的危險區(qū)域人體識別系統(tǒng)，包括數(shù)據(jù)采集模塊、數(shù)據(jù)預(yù)處理模塊、雙分支特征提取網(wǎng)絡(luò)構(gòu)建模塊、人體識別模型構(gòu)建模塊和危險區(qū)域人體識別模塊；

115、所述數(shù)據(jù)采集模塊，用于數(shù)據(jù)采集，通過數(shù)據(jù)采集，得到原始區(qū)域識別數(shù)據(jù)集，并將所述原始區(qū)域識別數(shù)據(jù)集發(fā)送至數(shù)據(jù)預(yù)處理模塊；

116、所述數(shù)據(jù)預(yù)處理模塊，用于數(shù)據(jù)預(yù)處理，通過數(shù)據(jù)預(yù)處理，得到待識別數(shù)據(jù)集、識別訓(xùn)練集和識別測試集，并將所述待識別數(shù)據(jù)集發(fā)送至雙分支特征提取網(wǎng)絡(luò)構(gòu)建模塊，將所述識別訓(xùn)練集和所述識別測試集發(fā)送至人體識別模型構(gòu)建模塊；

117、所述雙分支特征提取網(wǎng)絡(luò)構(gòu)建模塊，用于雙分支特征提取網(wǎng)絡(luò)構(gòu)建，通過構(gòu)建雙分支特征提取網(wǎng)絡(luò)，對所述待識別數(shù)據(jù)集進(jìn)行特征提取，得到雙分支融合特征，并將所述雙分支融合特征發(fā)送至危險區(qū)域人體識別模塊；

118、所述人體識別模型構(gòu)建模塊，用于人體識別模型構(gòu)建，通過構(gòu)建多路徑識別網(wǎng)絡(luò)模型，得到人體識別模型，并將所述人體識別模型發(fā)送至危險區(qū)域人體識別模塊；

119、所述危險區(qū)域人體識別模塊，用于危險區(qū)域人體識別，通過采用所述人體識別模型進(jìn)行區(qū)域內(nèi)人體識別，得到區(qū)域內(nèi)識別參考數(shù)據(jù)。

120、采用上述方案本發(fā)明取得的有益效果如下：

121、（1）針對傳統(tǒng)的危險區(qū)域人體識別方法存在依賴單一模態(tài)或簡單級聯(lián)融合，且無法有效解決多模態(tài)沖突，導(dǎo)致模態(tài)信息不完整、特征交互粗糙、特征混淆和噪聲引入，降低了模型在極端復(fù)雜區(qū)域環(huán)境下的準(zhǔn)確性的技術(shù)問題，本方案創(chuàng)造性地采用了雙分支特征提取網(wǎng)絡(luò)提取雙模態(tài)特征信息，通過獨立處理可見光與紅外數(shù)據(jù)，充分利用兩種模態(tài)的互補性，同時通過跨模態(tài)交互門控機制實現(xiàn)特征動態(tài)互補，避免單一模態(tài)信息不足導(dǎo)致的漏檢或誤檢。

122、（2）針對傳統(tǒng)的危險區(qū)域人體識別方法存在采用固定網(wǎng)絡(luò)結(jié)構(gòu)，缺乏環(huán)境自適應(yīng)能力，且忽略時序關(guān)聯(lián)，無法在條件復(fù)雜區(qū)域場景下動態(tài)調(diào)整計算策略，導(dǎo)致資源浪費、性能下降的技術(shù)問題，本方案創(chuàng)造性地采用了多路徑識別網(wǎng)絡(luò)模型進(jìn)行區(qū)域內(nèi)人體識別，實現(xiàn)了環(huán)境自適應(yīng)的精細(xì)化推理，通過動態(tài)分配計算資源并建模時序依賴消除運動模糊和瞬時干擾，提升了模型在動態(tài)危險場景中的實時性和準(zhǔn)確性。