日韩中文字幕久久久97都市激情,久久91网,亚洲天堂最新,国产精品嫩草影院九色,亚洲午夜精品一本二本,精品少妇一区二区三区蜜桃,av一道本

基于音頻潛在特征對比學習的音頻偽造檢測方法及系統與流程

文檔序號:42296961發布日期:2025-06-27 18:35閱讀:20來源:國知局

本發明屬于音頻偽造檢測,尤其涉及一種基于音頻潛在特征對比學習的音頻偽造檢測方法及系統。


背景技術:

1、隨著音頻信息服務迅速發展,用戶規模不斷壯大。當前,我國網絡音樂用戶規模已達6.08億。特別是隨著生成式人工智能(aigc)等人工智能新技術新應用在音頻領域的運用,基于深度學習的音頻生成與克隆算法輸出的音頻日益逼近真實音頻,導致音頻在傳播過程中的一些法律風險進一步集聚、放大,因此,對音頻數據的合法使用是目前社會上所重視的問題。

2、現階段針對音頻偽造檢測的方法主要有:基于音頻信號特征的偽造檢測方法,例如使用相位譜、梅爾譜圖、頻譜圖和改進時延等音頻特征的檢測方法;基于機器學習的偽造檢測方法,例如使用線性svm,加權k近鄰和增強樹集成等方法;但是,現階段的技術仍存在著檢測精度不足、泛化能力弱等缺陷,具體來說,基于音頻信號特征的方法,采用的相位譜、梅爾譜圖等特征難以全面覆蓋音頻偽造的復雜變化,在面對高級偽造技術時,難以區分真偽,且當音頻處于復雜環境中,環境噪聲等會嚴重干擾特征提取,導致準確性下降。同時,這類方法對新出現的偽造模式敏感度低,難以及時適應。基于機器學習的方法,模型嚴重依賴訓練數據的質量與多樣性,樣本不全面或標注偏差易造成大量誤判,對罕見特殊場景的偽造音頻檢測效果差。并且其泛化能力不足,難以應對不斷演進的新型偽造技術,計算資源消耗大,在資源受限場景應用困難,還容易受到對抗攻擊,使檢測結果失效。因此亟須一種方法解決上述問題。


技術實現思路

1、為解決上述技術問題,本發明提出了一種基于音頻潛在特征對比學習的音頻偽造檢測方法及系統,以解決上述現有技術存在的問題。

2、第一方面,為實現上述目的,本發明提供了一種基于音頻潛在特征對比學習的音頻偽造檢測方法,包括以下步驟:

3、對原始音頻數據進行數據增強,生成偽造音頻數據集;

4、構建音頻檢測模型,所述音頻檢測模型包括對比學習模型;

5、基于所述偽造音頻數據集對所述音頻檢測模型進行第一階段訓練;

6、完成第一階段訓練后,使用對比學習模型進行第二階段的訓練;

7、基于完成所述第一階段訓練和第二階段訓練的音頻檢測模型對音頻進行偽造檢測。

8、可選的,對原始音頻數據進行數據增強,生成偽造音頻數據集的過程包括:

9、確認數據集的正負樣本分布比例,如正負樣本比例不等于1:1,則對數據進行調整;

10、對調整完畢后的原始音頻數據進行數據增強,生成偽造音頻數據集。

11、可選的,對調整完畢后的原始音頻數據進行數據增強的過程包括:對調整完畢后的原始音頻數據進行高斯噪聲增強、波形位移、波形拉伸和音高修正。

12、可選的,構建音頻檢測模型,所述音頻檢測模型還包括:sinc層、殘差塊、gru層和全連接層。

13、可選的,基于所述偽造音頻數據集對所述音頻檢測模型進行第一階段訓練,第一階段訓練的訓練輪數為n,訓練輪數執行完畢后第一階段訓練結束,第一階段訓練的過程中包括:

14、基于交叉熵損失函數訓練模型。

15、可選的,完成第一階段訓練后,使用對比學習模型進行第二階段的訓練的過程中包括:

16、基于交叉熵損失函數和對比學習的損失函數進行第二階段的訓練。

17、第二方面,本發明還提供了一種基于音頻潛在特征對比學習的音頻偽造檢測系統,用于實施一種基于音頻潛在特征對比學習的音頻偽造檢測方法,所述系統包括:

18、數據處理模塊,用于對原始音頻數據進行數據增強,生成偽造音頻數據集;

19、模型構建模塊,用于構建音頻檢測模型,所述音頻檢測模型包括對比學習模型、sinc層、殘差塊、gru層和全連接層;

20、模型訓練模塊,用于基于所述偽造音頻數據集對所述音頻檢測模型進行第一階段訓練,并在完成第一階段訓練后,使用對比學習模型進行第二階段的訓練;

21、檢測模塊,用于基于完成所述第一階段訓練和第二階段訓練的音頻檢測模型對音頻進行偽造檢測。

22、可選的,所述數據處理模塊包括:

23、數據增強單元,用于對原始音頻數據進行高斯噪聲增強、波形位移、波形拉伸和音高修正。

24、第三方面,本發明還提供了一種計算機終端設備,包括:

25、一個或多個處理器;

26、存儲器,與所述處理器耦接,用于存儲一個或多個程序;

27、當所述一個或多個程序被所述一個或多個處理器執行,使得所述一個或多個處理器實現如一種基于音頻潛在特征對比學習的音頻偽造檢測方法。

28、第四方面,本發明還提供了一種計算機可讀存儲介質,其上存儲有計算機程序,所述計算機程序被處理器執行時,實現如一種基于音頻潛在特征對比學習的音頻偽造檢測方法。

29、與現有技術相比,本發明具有如下優點和技術效果:

30、本發明提供的一種基于音頻潛在特征對比學習的音頻偽造檢測方法及系統,首先通過對原始數據進行多維度數據增強(包括高斯噪聲添加、波形位移、拉伸及音高修正),生成覆蓋復雜場景的偽造音頻數據集;其次構建融合sinc卷積層、殘差塊及特征縮放映射的音頻檢測模型rawnet2-c,并集成對比學習模塊;基于增強數據對模型進行第一階段訓練后,進一步通過兩階段訓練策略聯合優化分類與特征判別能力,最終顯著提升模型對高逼真偽造音頻的檢測精度。通過數據增強與分階段訓練,模型可有效增強對背景噪聲、語速/音調變化的適應性,同時直接從原始波形中提取深層潛在特征,避免傳統人工特征設計的局限性,強化了復雜場景下的魯棒性和判別能力。



技術特征:

1.一種基于音頻潛在特征對比學習的音頻偽造檢測方法,其特征在于,包括以下步驟:

2.根據權利要求1所述的方法,其特征在于,對原始音頻數據進行數據增強,生成偽造音頻數據集的過程包括:

3.根據權利要求1所述的方法,其特征在于,對調整完畢后的原始音頻數據進行數據增強的過程包括:對調整完畢后的原始音頻數據進行高斯噪聲增強、波形位移、波形拉伸和音高修正。

4.根據權利要求1所述的方法,其特征在于,構建音頻檢測模型,所述音頻檢測模型還包括:sinc層、殘差塊、gru層和全連接層。

5.根據權利要求1所述的方法,其特征在于,基于所述偽造音頻數據集對所述音頻檢測模型進行第一階段訓練,第一階段訓練的訓練輪數為n,訓練輪數執行完畢后第一階段訓練結束,第一階段訓練的過程中包括:

6.根據權利要求1所述的方法,其特征在于,完成第一階段訓練后,使用

7.一種基于音頻潛在特征對比學習的音頻偽造檢測系統,其特征在于,所述系統包括:

8.根據權利要求7所述的系統,其特征在于,所述數據處理模塊包括:

9.一種計算機終端設備,其特征在于,包括:

10.一種計算機可讀存儲介質,其上存儲有計算機程序,其特征在于,所述計算機程序被處理器執行時,實現如權利要求1-6中任一項所述的基于音頻潛在特征對比學習的音頻偽造檢測方法。


技術總結
本發明公開了一種基于音頻潛在特征對比學習的音頻偽造檢測方法及系統,屬于音頻偽造檢測技術領域,本發明首先對原始音頻數據進行數據增強,生成偽造音頻數據集,其次構建音頻檢測模型,所述音頻檢測模型包括對比學習模型,然后基于所述偽造音頻數據集對所述音頻檢測模型進行第一階段訓練,完成第一階段訓練后,使用對比學習模型進行第二階段的訓練,最后基于完成所述第一階段訓練和第二階段訓練的音頻檢測模型對音頻進行偽造檢測,顯著提升了檢測精度與泛化能力。

技術研發人員:宣琦,惲蓓蓓,趙尚上,田甜,李呈斌
受保護的技術使用者:杭州市濱江區浙工大人工智能創新研究院
技術研發日:
技術公布日:2025/6/26
網友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1