本發明屬于水利視頻監控監測，具體涉及一種基于視頻監控的聯動聯控系統及其控制方法。

背景技術：

1、隨著科技日新月異，水利視頻監控監測領域對高效智能的監控與聯動控制需求愈發迫切，在視頻監控領域，應用程序借助計算機視覺技術，對大量視頻序列中的人、物、異常狀態等活動進行觀察，在水利視頻監控工作中占據重要地位，視頻數據中的有效要素包括河道、河面水文要素、河面漂浮物、船、特殊物種、落水人員、異常水質狀態、沿河堤岸、入侵人員、車輛等；然而，傳統視頻監控系統大多處于獨立運行狀態，管理站房、河道河面、堤岸等視頻監控子系統之間缺乏智能聯動機制，一旦出現異常事件，依賴人工判斷并手動操作各個子系統，不僅響應遲緩，各子系統間的協同效率也十分低下，同時缺乏對異常事件的在時間和空間上連續性記錄和預判預警。

2、專利cn116320292b公開了基于大數據的水利監控控制系統，包括水利監控實時采集系統、水利監控視頻讀取分析系統、水利監控數據決策系統、并網警報系統和數據剔除加密系統，通過對視頻幀數據進行壓縮視頻幀，再將壓縮視頻幀重組，能夠有效減少視頻幀數，防止幀數過大導致的不穩定，確保了每個水利監控采集區域的多個采集設備采集的水利監控區域下的視頻能夠很好的保證同步性，通過音頻數據來匹配視頻幀，然后對視頻幀中的噪聲進行處理，可以有效的對視頻中水利的運行情況，通過水流聲音與視頻畫面同步進行對比查看，提高了分析數據的準確性。然而在視頻噪聲方面，盡管系統對噪聲進行了處理，但部分高頻噪聲和突發脈沖噪聲仍會干擾視頻中水利設施運行細節的捕捉，導致關鍵特征被掩蓋，影響異常檢測算法對正常與異常狀態的判斷，使得異常檢測出現漏報或誤報，導致系統之間聯動智能控制效率低下。

技術實現思路

1、本發明的目的就在于解決高頻噪聲和突發脈沖噪聲仍會干擾視頻中水利設施運行細節的捕捉，導致關鍵特征被掩蓋，影響異常檢測算法對正常與異常狀態的判斷，使得異常檢測出現漏報或誤報，導致系統之間聯動智能控制效率低下的問題，而提出一種基于視頻監控的聯動聯控系統及其控制方法。

2、在本發明實施的第一方面，首先提出一種基于視頻監控的聯動聯控控制方法，所述方法包括:

3、獲取目標區域內攝像頭上傳的連續圖像序列；連續圖像序列為攝像頭采集視頻數據后進行抽幀處理得到；

4、對所述連續圖像序列中的每一圖像進行目標識別得到有效標記框集；

5、將所有有效標記框代入預設特征提取模型得到每一標記框對應的檢測特征，根據檢測特征查找預設數據庫確定該檢測特征是否存在；

6、若該檢測特征存在，則獲取對應標簽id，根據該標簽id在各攝像頭中的坐標序列得到運動軌跡；

7、將所述運動軌跡代入異常檢測模型得到異常結果，若異常結果為出現異常，則對該標記框生成追蹤標簽，并發出警報生成警報信息，根據所述追蹤標簽和警報信息對安防設備進行聯動控制。

8、可選的，對所述連續圖像序列中的每一圖像進行目標識別得到有效標記框集包括：

9、針對所述連續圖像序列中的每一圖像，對該圖像進行預處理得到目標檢測圖像；

10、將所述目標檢測圖像代入預設目標識別模型得到有效標記框集；

11、預設目標識別模型為改進的yolov8模型；將yolov8模型中的第一層、第五層和第七層的conv模塊替換為下采樣融合模塊；

12、所述下采樣融合模塊的工作原理為：

13、所述下采樣融合模塊包括第一模塊和第二模塊；所述第一模塊包括，獲取輸入特征圖，對特征圖進行平均池化和卷積操作得到第一輸出特征圖；對所述第一輸出特征圖進行通道維度分割，得到4個第二輸出特征圖；對所有第二輸出特征圖應用softmax函數得到4組特征權重；

14、所述第二模塊包括，對所述輸入特征圖進行卷積操作得到第三輸出特征圖；對所述第三輸出特征圖進行通道維度分割，得到4個第四輸出特征圖；

15、根據4組特征權重分別對4個第四輸出特征圖進行加權融合操作得到最終輸出特征圖。

16、可選的，將所有有效標記框代入預設特征提取模型得到每一標記框對應的檢測特征包括：

17、針對每一有效標記框，提取該有效標記框對應的圖像區域得到初始輸入圖像；

18、將所述初始輸入圖像代入拉普拉斯金字塔得到第一尺度特征、第二尺度特征和第三尺度特征；所述第一尺度特征為高尺度特征；所述第二尺度特征為中尺度特征；所述第三尺度特征為低尺度特征；

19、將所述第一尺度特征圖代入第一增強特征提取模塊得到第一增強特征；將所述第一增強特征、所述第二尺度特征和所述第三尺度特征代入第二增強特征提取模塊得到第二增強特征；

20、以所述第二增強特征分別對所述第二尺度特征和所述第三尺度特征進行特征融合得到第一融合特征和第二融合特征；

21、對所述第一增強特征、所述第一融合特征和所述第二融合特征進行尺度歸一化后進行特征融合得到檢測特征。

22、可選的，所述第一增強特征提取模塊包括：

23、對所述第一尺度特征圖進行通道分解得到第一通道特征和第二通道特征；

24、所述第一通道特征和第二通道特征分別代入全通道提取模塊得到第一全通道融合特征和第二全通道融合特征；

25、對所述第一全通道融合特征和所述第二全通道融合特征進行拼接得到第一增強特征。

26、可選的，所述第二增強特征提取模塊包括：

27、對所述第一增強特征、所述第二尺度特征和所述第三尺度特征進行拼接得到第一拼接特征；

28、將所述第一拼接特征分別經過多尺度擴張注意力模塊和多頭注意力模塊得到第一注意力特征和第二注意力特征；

29、對所述第一注意力特征和所述第二注意力特征進行疊加融合得到第二增強特征。

30、在本發明實施的第二方面，提出一種基于視頻監控的聯動聯控系統，包括：

31、抽幀處理模塊，用于獲取目標區域內攝像頭上傳的連續圖像序列；連續圖像序列為攝像頭采集視頻數據后進行抽幀處理得到；

32、目標識別模塊，用于對所述連續圖像序列中的每一圖像進行目標識別得到有效標記框集；

33、檢測特征生成模塊，用于將所有有效標記框代入預設特征提取模型得到每一標記框對應的檢測特征，根據檢測特征查找預設數據庫確定該檢測特征是否存在；

34、運動軌跡確定模塊，用于若該檢測特征存在，則獲取對應標簽id，根據該標簽id在各攝像頭中的坐標序列得到運動軌跡；

35、聯動控制模塊，用于將所述運動軌跡代入異常檢測模型得到異常結果，若異常結果為出現異常，則對該標記框生成追蹤標簽，并發出警報生成警報信息，根據所述追蹤標簽和警報信息對安防設備進行聯動控制。

36、可選的，所述目標識別模塊包括：

37、預處理模塊，用于針對所述連續圖像序列中的每一圖像，對該圖像進行預處理得到目標檢測圖像；

38、標記框確定模塊，用于將所述目標檢測圖像代入預設目標識別模型得到有效標記框集；

39、模型改進模塊，用于預設目標識別模型為改進的yolov8模型；將yolov8模型中的第一層、第五層和第七層的conv模塊替換為下采樣融合模塊；

40、所述下采樣融合模塊的工作原理為：

41、所述下采樣融合模塊包括第一模塊和第二模塊；所述第一模塊包括，獲取輸入特征圖，對特征圖進行平均池化和卷積操作得到第一輸出特征圖；對所述第一輸出特征圖進行通道維度分割，得到4個第二輸出特征圖；對所有第二輸出特征圖應用softmax函數得到4組特征權重；

42、所述第二模塊包括，對所述輸入特征圖進行卷積操作得到第三輸出特征圖；對所述第三輸出特征圖進行通道維度分割，得到4個第四輸出特征圖；

43、根據4組特征權重分別對4個第四輸出特征圖進行加權融合操作得到最終輸出特征圖。

44、可選的，所述檢測特征生成模塊包括：

45、區域提取模塊，用于針對每一有效標記框，提取該有效標記框對應的圖像區域得到初始輸入圖像；

46、多尺度特征提取模塊，用于將所述初始輸入圖像代入拉普拉斯金字塔得到第一尺度特征、第二尺度特征和第三尺度特征；所述第一尺度特征為高尺度特征；所述第二尺度特征為中尺度特征；所述第三尺度特征為低尺度特征；

47、特征增強模塊，用于將所述第一尺度特征圖代入第一增強特征提取模塊得到第一增強特征；將所述第一增強特征、所述第二尺度特征和所述第三尺度特征代入第二增強特征提取模塊得到第二增強特征；

48、第一特征融合模塊，用于以所述第二增強特征分別對所述第二尺度特征和所述第三尺度特征進行特征融合得到第一融合特征和第二融合特征；

49、第二特征融合模塊，用于對所述第一增強特征、所述第一融合特征和所述第二融合特征進行尺度歸一化后進行特征融合得到檢測特征。

50、可選的，所述第一增強特征提取模塊包括：

51、通道分解模塊，用于對所述第一尺度特征圖進行通道分解得到第一通道特征和第二通道特征；

52、通道融合特征提取模塊，用于所述第一通道特征和第二通道特征分別代入全通道提取模塊得到第一全通道融合特征和第二全通道融合特征；

53、全通道融合模塊，用于對所述第一全通道融合特征和所述第二全通道融合特征進行拼接得到第一增強特征。

54、可選的，所述第二增強特征提取模塊包括：

55、尺度特征拼接模塊，用于對所述第一增強特征、所述第二尺度特征和所述第三尺度特征進行拼接得到第一拼接特征；

56、注意力特征提取模塊，用于將所述第一拼接特征分別經過多尺度擴張注意力模塊和多頭注意力模塊得到第一注意力特征和第二注意力特征；

57、注意力特征疊加模塊，用于對所述第一注意力特征和所述第二注意力特征進行疊加融合得到第二增強特征。

58、本發明的有益效果：

59、本發明提出了一種基于視頻監控的聯動聯控控制方法，獲取目標區域內攝像頭上傳的連續圖像序列，對連續圖像序列中的每一圖像進行目標識別得到有效標記框集；將所有有效標記框代入預設特征提取模型得到每一標記框對應的檢測特征，根據檢測特征查找預設數據庫確定該檢測特征是否存在；若該檢測特征存在，則獲取對應標簽id，根據該標簽id在各攝像頭中的坐標序列得到運動軌跡；將運動軌跡代入異常檢測模型得到異常結果，若異常結果出現異常，則對該標記框生成追蹤標簽，并發出警報生成警報信息，根據追蹤標簽和警報信息對安防設備進行聯動控制。連續圖像序列進行實時監測與分析，并通過先檢測到有效標記框再進行特征提取，提高特征的檢測效率，再結合異常檢測模型，能有效識別可疑行為，一旦檢測到異常，系統自動生成追蹤標簽和警報信息，從而進行聯動控制，提高了聯動智能控制效率。