本發明涉及安全監測，具體為一種基于多模態數據的消防員生理安全監測系統。
背景技術：
1、消防火災事故一直以來都是嚴重威脅人們生命健康和財產安全，威脅社會發展的重大危險災難之一，近年來，隨著經濟社會的多維全面發展，城市人口迅速擴張，一座座宏偉的城市建筑拔地而起，城市景觀愈加密集迷人，人們對戶外自然景觀的追求需求不斷擴張，在這種高速發展的趨勢下，森林景觀一旦起火，困于火災擴散速度快、火場情況復雜和滅火難度大等問題，消防救火對及時、迅速和準確地信息感知的要求上升了新高度。
2、通過對近些年我國消防員傷亡情況展開統計分析發現，在2005年-2013年期間，在滅火救援中消防員發生傷亡事故共計70起，大約平均每年有27位消防員發生傷亡，并且近年來發生傷亡的人數呈逐年增長的趨勢，與此同時，統計結果還表明，從事滅火救援工作不足四年的新消防員發生傷亡的人數最多，是總人數的64.71％。由此可見，從事滅火救援工作的時間越短，那么消防員發生死亡的概率越大，而且發生死亡的情況也更加嚴重，所以工作經驗與救援能力是影響到消防官兵傷亡事故發生的一個重要因素。
3、現有的消防員生理監測及輔助技術只能單一的監測消防員的生理狀態或火場數據，無法對目前的火場情況以及消防員的勝利情況進行火場火勢的預測和消防員的安全預警，面對擴散速度快、火場情況復雜和滅火難度大等情況很難起到對消防員安全預警以及指揮的目的。
技術實現思路
1、(一)解決的技術問題
2、針對現有技術的不足，本發明提供了一種基于多模態數據的消防員生理安全監測系統，通過集成生理數據、運動數據和環境數據的實時采集與分析，該系統不僅能夠全面監測消防員的生理狀態，還能實時評估火場環境的變化，這種多模態數據融合的方法使得系統能夠更準確地進行火勢預測和消防員安全預警，特別是在面對快速擴散、復雜火場和高難度滅火情境時，提供了更為精準和及時的警報反饋，通過生成消防員的警覺度評分、注意力分配評分和操作反應時間，系統可有效提升消防員的安全意識，增強其應對突發情況的能力，從而顯著提高滅火行動的安全性和效率。
3、(二)技術方案
4、為實現上述目的，本發明提供如下技術方案：一種基于多模態數據的消防員生理安全監測系統，包括數據采集模塊、數據預處理模塊、特征提取模塊、數據融合模塊、狀態評估模塊以及警報反饋模塊；
5、所述數據采集模塊通過傳感器和高幀率相機在消防員執行任務時實時收集消防員生理數據、消防員運動數據以及消防員所處環境數據，消防員生理數據包括心電圖、脈搏、皮膚溫度和血氧飽和度，消防員運動數據通過姿態傳感器記錄消防員的運動狀態，并通過頭眼運動視線跟蹤和面部表情分析獲取其心理狀態，消防員所處環境數據則通過可見光、近紅外和中遠紅外圖像監測火場環境的變化；
6、所述數據預處理模塊對數據采集模塊獲取的數據進行濾波去除噪聲，并進行數據標準化處理后，依據時間戳將不同傳感器的數據進行對齊發送至特征提取模塊；
7、所述特征提取模塊從預處理后的數據中提取關鍵特征，包括生理心率變化率、脈搏波形特征、加速度、運動姿態變化特征、注視點的位置特征、表情持續時間以及面部情感變化特征；
8、所述數據融合模塊將來自不同模態的數據進行綜合處理，利用加權平均，將提取的特征融合成一個統一的數據集發送至狀態評估模塊；
9、所述狀態評估模塊依據融合后的數據，生成消防員警覺度評分、消防員注意力分配評分和消防員操作反應時間，用于實時評估消防員的生理狀態和潛在安全風險；
10、所述警報反饋模塊根據狀態評估模塊的輸出，通過震動裝置向消防員發送實時警報。
11、優選的，所述數據濾波去除噪聲的公式如下所示：
12、
13、公式中，h(f)表示濾波器的傳遞函數，f表示輸入信號的頻率，fc表示截止頻率，j表示虛數單位。
14、優選的，所述數據對齊的公式如下所示：
15、
16、公式中，daligned(t)表示在時間t對齊后的數據值，d1(t)表示在時間t的第一個傳感器的數據值，t1、t2分別為第一個和第二個傳感器的時間戳，d2(t2)表示在時間t2的第二個傳感器的數據值。
17、優選的，所述計算生理心率變化率的公式如下所示：
18、hrv＝σ(rr)
19、公式中，hrv表示心率變異性，σ表示標準差函數，rr表示心電圖中相鄰心跳之間的時間間隔。
20、優選的，所述提取脈搏波形特征的公式如下所示：
21、pfeature＝tpeak-ttrough
22、公式中，pfeature表示脈搏波形特征，tpeak表示脈搏波的波峰時間，ttrough表示脈搏波的波谷時間。
23、優選的，所述計算加速度的公式如下所示：
24、
25、公式中，a(t)表示在時間t的加速度，v(t)表示在時間t的速度，δt表示時間間隔。
26、優選的，所述提取運動姿態變化特征的公式如下所示：
27、δθ＝θcurrent-θprevious
28、公式中，δθ表示當前與之前姿態的角度變化，θcurrent表示當前姿態角度，θprevious表示之前姿態角度。
29、優選的，所述提取注視點的位置特征的公式如下所示：
30、
31、公式中，gazeavg表示平均注視點位置，n表示注視次數，gazei表示第i次注視點的位置，i表示計數下標。
32、優選的，所述計算持續時間的公式如下所示：
33、duration＝tend-tstart
34、公式中，duration表示持續時間，tend表示結束時間，tstart表示開始時間。
35、優選的，所述提取面部情感變化特征的公式如下所示：
36、emotionfeature＝p(emotion1),p(emotion2),...,p(emotionn)
37、公式中，emotionfeature表示情感特征向量，p(emotioni)表示第i種情感的概率。
38、與現有技術相比，本發明提供了一種基于多模態數據的消防員生理安全監測系統，具備以下有益效果：
39、本發明通過集成生理數據、運動數據和環境數據的實時采集與分析，該系統不僅能夠全面監測消防員的生理狀態，還能實時評估火場環境的變化，這種多模態數據融合的方法使得系統能夠更準確地進行火勢預測和消防員安全預警，特別是在面對快速擴散、復雜火場和高難度滅火情境時，提供了更為精準和及時的警報反饋，通過生成消防員的警覺度評分、注意力分配評分和操作反應時間，系統可有效提升消防員的安全意識，增強其應對突發情況的能力，從而顯著提高滅火行動的安全性和效率。
1.一種基于多模態數據的消防員生理安全監測系統，其特征在于：包括數據采集模塊、數據預處理模塊、特征提取模塊、數據融合模塊、狀態評估模塊以及警報反饋模塊；
2.根據權利要求1所述的一種基于多模態數據的消防員生理安全監測系統，其特征在于：所述數據濾波去除噪聲的公式如下所示：
3.根據權利要求2所述的一種基于多模態數據的消防員生理安全監測系統，其特征在于：所述數據對齊的公式如下所示：
4.根據權利要求3所述的一種基于多模態數據的消防員生理安全監測系統，其特征在于：所述計算生理心率變化率的公式如下所示：
5.根據權利要求4所述的一種基于多模態數據的消防員生理安全監測系統，其特征在于：所述提取脈搏波形特征的公式如下所示：
6.根據權利要求5所述的一種基于多模態數據的消防員生理安全監測系統，其特征在于：所述計算加速度的公式如下所示：
7.根據權利要求6所述的一種基于多模態數據的消防員生理安全監測系統，其特征在于：所述提取運動姿態變化特征的公式如下所示：
8.根據權利要求7所述的一種基于多模態數據的消防員生理安全監測系統，其特征在于：所述提取注視點的位置特征的公式如下所示：
9.根據權利要求8所述的一種基于多模態數據的消防員生理安全監測系統，其特征在于：所述計算持續時間的公式如下所示：
10.根據權利要求9所述的一種基于多模態數據的消防員生理安全監測系統，其特征在于：所述提取面部情感變化特征的公式如下所示：