本發明屬于聽覺腦機接口領域，尤其涉及一種基于多尺度頻空注意力網絡的聽覺注意解碼方法及系統，可應用于神經驅動的聽覺輔助設備（人工耳蝸或助聽器）開發等。

背景技術：

1、在復雜的聲學環境中，人類能夠展現出“雞尾酒會效應”，即在多重聲音混雜的環境中聚焦于感興趣的目標語音，同時忽略其他聲音的干擾。然而，對于聽力損失人群而言，背景噪聲對目標語音的掩蔽效應顯著增強，使得聽覺選擇性注意能力受損，難以有效聚焦目標語音。神經科學研究表明，相較于非目標語音，大腦皮層的神經活動與目標語音的振幅包絡呈現更強的相似性。因此，基于腦電（eeg）信號解碼聽覺注意力方向（即聽覺注意力解碼），可為神經驅動的聽覺輔助設備提供關鍵技術支撐。

2、目前，已有研究證實了從eeg中解碼聽覺注意力的可行性，并且基于eeg的聽覺注意力解碼算法主要分為刺激重建和直接分類兩種類型。刺激重建算法在實際應用中面臨巨大挑戰，因為它需要從混合語音中分離出純凈的語音，這在現實場景下難度極高。直接分類法雖然在實際應用方面更具潛力，但傳統的線性解碼器存在明顯缺陷。由于大腦聽覺系統具有非線性特性，傳統線性解碼器難以捕捉eeg信號中的非線性映射關系，這就導致其決策時間窗較長，而且隨著解碼窗口長度縮短，解碼準確率會迅速下降。近年來，深度學習技術在聽覺注意力解碼研究中得到了廣泛應用，但現有的方法仍存在諸多問題。1）頻域特征提取復雜且不優：在提取腦電頻域特征時，現有方法通常需要預先對eeg信號進行濾波，然后手動提取固定頻段的微分熵特征。這種操作不僅增加了數據預處理的復雜性，而且由于固定的頻帶劃分方式，很難獲取與聽覺注意力解碼最匹配的最優頻域解碼范圍，導致無法充分挖掘腦電信號中的頻域信息。2）卷積核適應性差：大多數基于卷積神經網絡的方法采用固定大小的卷積核來學習局部特征。然而，在實際情況中，不同被試以及不同時間點下，最優的卷積核大小是變化的。固定卷積核大小的方法無法適應這種變化，限制了模型對不同腦電數據特征的有效提取。3）3d卷積存在局限：部分研究嘗試將二維eeg映射為三維數據，并使用3d卷積來處理時空或頻空特征，以此來利用腦電信號的空間分布特征。但3d卷積在訓練過程中面臨諸多困難，計算復雜度高，模型難以優化。同時，它也難以捕捉eeg信號中不同腦區之間的長距離依賴關系和動態變化信息，無法全面反映大腦在聽覺注意力過程中的活動特征。4）缺乏有效注意力機制：目前在聽覺注意力解碼領域，尚未有充分研究基于空間和頻域特征的注意力機制。由于缺乏這種能夠全面整合和分析eeg數據中空間和頻域信息的機制，現有方法無法充分捕捉與聽覺注意力相關的關鍵信息，導致模型的性能受到限制。

3、綜上所述，現有聽覺注意力解碼技術在特征提取、模型訓練及信息捕獲等方面仍存在瓶頸，亟需一種創新的方法來優化解碼策略，提高短時間窗下的解碼精度，并增強系統的實時性和適應性，從而為神經驅動的聽覺輔助設備提供更精準、高效的技術支撐。

技術實現思路

1、本發明針對現有聽覺注意力解碼技術的不足，提出了一種基于多尺度頻空注意力網絡的聽覺注意解碼方法及系統，旨在提高解碼的準確性和計算效率，特別是在復雜聲學環境和短決策窗口下的解碼性能。

2、為實現本發明的目的所采用的技術方案是：

3、一種基于多尺度頻空注意力網絡的聽覺注意解碼方法，包括以下步驟：

4、步驟1，獲取專注聆聽不同方向語音時的腦電數據，并使用滑動窗口對所述腦電數據進行劃分，生成一系列決策窗口，每個決策窗口包含一段腦電信號；

5、步驟2，將所述決策窗口的腦電信號輸入多尺度頻空注意力網絡（mssanet模型），所述多尺度頻空注意力網絡包括多尺度時域卷積模塊、頻空注意力模塊和全連接層分類模塊：

6、步驟2.1，所述多尺度時域卷積模塊對輸入的腦電信號進行處理，提取不同頻率范圍的時域特征：所述多尺度時域卷積模塊包括多尺度殘差卷積單元和時域對數方差計算單元，在所述多尺度殘差卷積單元中，利用 n個大小為1×1的卷積核對單個輸入樣本 r進行升維操作，然后將升維后的輸出y按照通道維度劃分為k組，對于每一組輸出yb再利用不同的卷積核進行深度卷積得到，將分組深度卷積后的結果按照輸出通道維度進行拼接得到多尺度卷積輸出，多尺度卷積輸出經過時域對數方差計算得到；

7、同時，對于每一組輸出yb通過固定卷積操作convres處理得到殘差卷積輸出，殘差卷積輸出經過時域對數方差計算得到；

8、和相加得到多尺度時域卷積模塊的輸出，即不同頻率范圍的時域特征；

9、步驟2.2，所述頻空注意力模塊將所述時域特征轉換為頻空特征圖，進一步通過自注意力機制和可學習位置編碼捕獲不同腦區之間的全局依賴關系，提取與聽覺注意力相關的頻譜空間信息；

10、步驟2.3，所述全連接層分類模塊基于所述頻譜空間信息，輸出預測語音方向為左側或者右側方向的概率。

11、在上述技術方案中，所述步驟1中，在對腦電數據進行劃分前，還包括數據預處理步驟，所述數據預處理步驟包括降采樣、濾波、去偽跡和/或通道歸一化。

12、若所述腦電數據來自kul數據集，先將腦電數據降采樣到128?hz，再用8階巴特沃斯濾波器進行?0.1-50?hz?帶通濾波，最后進行通道歸一化；

13、若所述腦電數據來自dtu數據集，先濾波去除50?hz線性噪聲和偽跡，通過聯合去相關性分析去除眼偽跡，進行全腦平均重參考，然后降采樣到128?hz并進行通道歸一化。

14、在上述技術方案中，，其中，為核為1的卷積， r為每個決策窗口內的腦電信號，w1是1×1卷積核的權重矩陣，b1是偏置向量，y∈rn×c×t是升維后的輸出，n為卷積的數量，c為腦電信號的通道數，t為表示每個決策窗口內的樣本點數。

15、在上述技術方案中，y=[y1，y2，…，yk]，其中yb∈rn/k×c×t，b=1，2，…，k，第b組使用大小為(1， k b)的卷積核進行深度卷積，，其中，為深度卷積， k b為不同的卷積核尺寸，w2 b是第 b組卷積核的權重矩陣，b2 b是偏置向量，z b為深度卷積后的腦電數據，z b∈rn/k×c×t，。

16、在上述技術方案中，，其中，為殘差卷積，w3是殘差卷積核的權重矩陣，b3偏置向量。

17、在上述技術方案中，時域對數方差的計算公式為，其中，∈表示第 i導聯的個樣本點，為步幅，表示樣本點的方差，所述樣本點為或。

18、在上述技術方案中，所述步驟2.2中，將多尺度時域卷積模塊得到的輸出轉換為大小為n×m的頻-空特征圖f∈rn×m，其中m=c×d， d表示腦電時域長度按照 t'步長劃分的數量，將頻空特征圖f通過可學習位置編碼保留eeg信號的空間位置信息輸出特征 p，并采用transformer?encoder對特征 p進行跨頻域處理得到，，為與聽覺注意力相關的頻譜空間信息。

19、在上述技術方案中，所述步驟2.3中，先將頻空注意力特征進行展平，然后經過兩個全連接層進行聽覺注意解碼方向的概率的預測得到，，其中，為模型輸出的預測概率，w4是轉換的權重矩陣，b4是偏置向量。

20、在上述技術方案中，所述步驟2中，利用交叉熵損失函數對多尺度頻空注意力網絡進行評估，，其中，代表樣本數，是分類數，是真實值，是預測值， i為第 i個樣本， c為類別數，對應左或右。

21、本發明的另一方面，還包括可實現所述基于多尺度頻空注意力網絡的聽覺注意解碼方法的系統，包括數據導入模塊、數據預處理模塊、所述的多尺度頻空注意力網絡、模型訓練模塊和結果可視化模塊；

22、所述數據導入模塊用于選擇不同類型的數據集并導入數據，所述數據預處理模塊對導入的數據進行預處理，所述預處理包括降采樣、高通濾波、低通濾波和/或歸一化；

23、所述模型訓練模塊用于設置時間窗的長短以及數據集劃分比例，以優化多尺度頻空注意力網絡的訓練效果，以適應不同的聽覺注意力解碼任務需求；

24、所述結果可視化模塊可視化展示多尺度頻空注意力網絡訓練后模型預測結果的準確率，當步驟2.3中預測語音方向為左側概率高時，模型預測結果為“左側”，當步驟2.3中預測語音方向為右側概率高時，模型預測結果為“右側”，所述準確率為所有樣本中預測正確的占總樣本的百分比。

25、與現有技術相比，本發明的有益效果是：

26、（1）高效特征提取與自適應頻域信息獲取：本發明提出的mssanet模型通過多尺度時域卷積提取不同頻域范圍內的eeg局部特征，能夠模擬濾波過程，避免手動提取頻域特征的復雜預處理，且能自適應獲取與聽覺注意力解碼相關的頻域信息。時域對數方差計算單元對eeg信號進行處理時，一方面能夠高效地提取時域信息，另一方面巧妙地保留了信號中的空間信息經實驗驗證，相比傳統卷積和池化操作，顯著提高聽覺注意解碼準確率；

27、（2）增強模型性能的頻空注意力模塊：該模塊借助自注意力機制和可學習位置編碼，有效捕獲不同腦區之間的長范圍依賴和全局依賴性，全面獲取與聽覺注意力相關的頻域和空間信息，提升模型性能。自注意力機制可通過增強與聽覺注意相關的腦區對的交互權重，抑制無關頻段/腦區的干擾。該模塊實現了對eeg信號中跨頻段空間依賴關系的顯式建模，為聽覺注意力解碼提供了更具全局視角的特征表示；

28、（3）卓越的實驗表現與高實用價值：在kul和dtu公開數據集實驗中，mssanet?展現超強實力，在極短的0.1秒、0.5秒以及常規的1秒決策窗口下，均呈現最高分類準確率。這種在短解碼時間窗下的優異表現，為實時聽覺注意力解碼筑牢根基，極大提升了響應速度與精準度。憑借此優勢，其在神經驅動的聽覺輔助設備（人工耳蝸或者助聽器）等實際應用場景中，極具實用價值，能切實滿足現實需求，為相關領域發展注入強大動力；

29、（4）構建高效自動化解碼系統：本發明基于多尺度頻空注意力網絡框架開發聽覺注意力解碼系統，集成數據導入、預處理、模型訓練、結果可視化等模塊。支持多種數據集及格式導入，經降采樣等預處理，通過可調時間窗等訓練參數優化模型，以準確率可視化呈現結果，實現全流程自動化分析。具備參數靈活可調、高效處理數據能力，減少人工誤差，為聽覺注意力相關研究與應用提供有力工具。