本發明涉及機器視覺和消防，具體是一種基于多模態信息融合的倉庫火災智能檢測與滅火方法。
背景技術：
1、傳統消防系統主要依賴煙霧探測器、溫度傳感器等單一環境感知設備，結合手動或半自動滅火裝置實現火災防控，普遍存在響應滯后、誤報率高、滅火效率低等問題。基于煙霧探測器的消防系統在檢測到煙霧時才發出警報，且無法準確定位火災的具體位置，導致難以采取有效的滅火措施，同時易受粉塵、蒸汽等非火災因素干擾，導致可能因非火災情況下產生的煙塵而產生誤報。基于熱成像的消防系統雖然能夠根據溫度信息識別火災位置，但火勢會隨著時間蔓延，而溫度信息卻無法反映火勢蔓延趨勢，因此無法抑制火勢蔓延。基于視覺圖像的消防系統通過目標檢測識別火焰，定位火災位置，但是只有產生明火的情況下才能準確識別，無法在火災初期進行有效識別，具有滯后性。
2、傳統消防系統通常是在樓道或者倉庫四周布設水槍，覆蓋范圍廣，發生火災后所有水槍都參與滅火任務，容易造成滅火劑浪費和次生水損。對于倉庫的消防任務，既需要精準快速地滅火防止火勢蔓延造成更大的損失，又需要避免大面積的噴淋防止過多的物品遭到損壞，因此亟需一種集實時監測、精準定位、智能決策于一體的滅火方法，以提高滅火效率并降低災害損失。
技術實現思路
1、針對現有技術的不足，本發明擬解決的技術問題是，提供一種基于多模態信息融合的倉庫火災智能檢測與滅火方法。
2、本發明解決所述技術問題采用的技術方案是：
3、一種基于多模態信息融合的倉庫火災智能檢測與滅火方法，其特征在于，包括以下步驟：
4、第一步：采集視覺圖像、熱成像圖像以及煙霧濃度時間序列；
5、第二步：將煙霧濃度時間序列、視覺圖像和熱成像圖像輸入到多模態火災預測模型中，預測火災等級；
6、利用煙霧濃度時間序列提取煙霧濃度特征，熱成像圖像提取溫度特征，視覺圖像提取火焰特征；
7、煙霧濃度、溫度和火焰三種特征分別采用關聯關系驅動的融合方法進行增強，得到增強的煙霧濃度特征、增強的溫度特征以及增強的火焰特征；將增強的溫度特征和火焰特征進行拼接，得到淺層融合特征；將增強的煙霧濃度特征和淺層融合特征分別經過mlp后再進行拼接，得到中層融合特征；同時對增強的煙霧濃度特征、溫度特征以及火焰特征進行拼接，得到增強融合特征；
8、采用注意力門控機制，為各個融合特征賦予權重；根據下式對各融合特征進行加權融合，得到深層融合特征；
9、
10、式中，cfinal表示深層融合特征，gearly、gmiddle、gaf分別表示淺層融合特征cearly、中層融合特征cmiddle和增強融合特征caf的的權重；
11、深層融合特征經過softmax函數得到預測分數，進而得到火災等級；
12、第三步：將視覺圖像輸入到火焰目標檢測模型中，預測火源和著火范圍；根據預測的火焰邊界框，采用光流法預測火焰蔓延方向；
13、第四步：根據火災等級、火源以及火焰蔓延方向，調度水槍；
14、將倉庫內部空間以十字形式劃分為四個區域，每個區域的中心位置均安裝有一臺可旋轉的水槍；計算各臺水槍到火源的距離，距離最近的水槍承擔主要滅火任務，選擇火焰蔓延方向上的一臺水槍承擔輔助滅火任務；火災等級由高至低分為一、二、三級，每提升一個級，增加一臺距離較近的水槍承擔主要滅火任務；當火災等級為一級時，四臺水槍全部投入滅火。
15、進一步的，所述火焰目標檢測模型由c2f_repvitsimam模塊逐個替換yolov10骨干網絡的c2f模塊得到；c2f_repvitsimam模塊是由repvitsimam模塊替換c2f模塊的bottleneck結構得到；在repvitsimam模塊中，輸入特征沿通道維度分割為三個子特征，第二個子特征經過3×3深度可分離卷積以及第三個子特征經過1×1深度可分離卷積后，與第一個子特征在通道維度進行拼接，拼接得到的特征經過通過simam注意力機制，得到注意力特征；注意力特征經過前饋神經網絡后，得到repvitsimam模塊的輸出特征。
16、進一步的，煙霧濃度時間序列輸入到長短時記憶網絡中，將最后一個時間步的隱藏狀態作為煙霧濃度特征；熱成像圖像輸入到resnet50網絡中，將resnet50網絡第二階段的輸出特征作為溫度特征；視覺圖像輸入到火焰目標檢測模型中，將火焰目標檢測模型主干網絡的輸出特征作為火焰特征。
17、與現有技術相比，本發明的有益效果是：
18、1、本發明通過視覺圖像、熱成像圖像和煙霧感應獲取火災信息，對視覺、溫度、煙霧三種模態信息進行融合，預測火災等級，避免單一模態或雙模態信息融合可能造成的火災判定不準確等問題。通過目標檢測精準定位火源和著火范圍，為精準滅火提供了基礎，同時可確定火焰蔓延方向，根據火災等級、火源和火焰蔓延方向，即根據火災的具體情況，確定執行滅火任務的水槍，采用距離火源最近的水槍主要執行滅火，火焰蔓延方向上的水槍輔助滅火的策略，在滅火的同時有效抑制了火勢蔓延，實現精準有效地自動化滅火，解決了現有滅火方法無法根據火災情況動態調度水槍的問題。
19、水槍布置在倉庫各區域的中心位置，而非倉庫四周，在保證倉庫內部空間完全被水槍噴灑范圍覆蓋的基礎上，縮小了單個水槍覆蓋的空間，實現了精確瞄準，解決了傳統滅火系統因其廣泛的噴灑面積可能導致的不必要水損，特別是對于那些未直接受到火焰影響的周邊貨物，以及存在的滅火死角問題，確保任何位置的火源都能得到有效處理。
20、2、多模態火災預測模型首先提取煙霧濃度、溫度以及火焰特征，然后對這三種特征進行處理，提取淺層融合特征、中層融合特征以及增強融合特征；最后，對這三種融合特征進行加權融合，得到深層融合特征，利用深層融合特征進行火災等級預測，實現了三種模態信息的充分融合，提高了預測精度。
21、利用c2f_repvitsimam模塊逐個替換yolov10骨干網絡的c2f模塊，得到火焰目標檢測模型，可精準定位火災位置；利用repvitsimam模塊替換c2f模塊的bottleneck結構，得到c2f_repvitsimam模塊，減少了計算量，提高了目標檢測速度。c2f_repvitsimam模塊是在repvitsimam模塊中引入simam注意力機制，增強了特征提取能力，同時沒有引入額外的參數，在提升模型性能的同時幾乎不增加計算負擔，非常適合資源受限的環境。與其他復雜的注意力機制相比，simam注意力機制不需要進行復雜的超參數調整，可以更容易地將其集成到現有的網絡架構中，而無需花費大量時間進行調參。
1.一種基于多模態信息融合的倉庫火災智能檢測與滅火方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于多模態信息融合的倉庫火災智能檢測與滅火方法，其特征在于，所述火焰目標檢測模型由c2f_repvitsimam模塊逐個替換yolov10骨干網絡的c2f模塊得到；c2f_repvitsimam模塊是由repvitsimam模塊替換c2f模塊的bottleneck結構得到；在repvitsimam模塊中，輸入特征沿通道維度分割為三個子特征，第二個子特征經過3×3深度可分離卷積以及第三個子特征經過1×1深度可分離卷積后，與第一個子特征在通道維度進行拼接，拼接得到的特征經過通過simam注意力機制，得到注意力特征；注意力特征經過前饋神經網絡后，得到repvitsimam模塊的輸出特征。
3.根據權利要求1或2所述的基于多模態信息融合的倉庫火災智能檢測與滅火方法，其特征在于，煙霧濃度時間序列輸入到長短時記憶網絡中，將最后一個時間步的隱藏狀態作為煙霧濃度特征；熱成像圖像輸入到resnet50網絡中，將resnet50網絡第二階段的輸出特征作為溫度特征；視覺圖像輸入到火焰目標檢測模型中，將火焰目標檢測模型主干網絡的輸出特征作為火焰特征。