本發(fā)明涉及農(nóng)業(yè)信息，特別是將高光譜成像技術(shù)應(yīng)用于農(nóng)產(chǎn)品品質(zhì)檢測，具體涉及一種基于雙通道特征融合模型的不完善大豆高光譜成像分類方法，旨在為不完善大豆的快速、準(zhǔn)確分類提供新的解決方案。

背景技術(shù)：

1、近年來，高光譜成像技術(shù)作為一種快速、無損、精準(zhǔn)的檢測技術(shù)，在農(nóng)產(chǎn)品品質(zhì)檢測領(lǐng)域展現(xiàn)出巨大潛力。該技術(shù)結(jié)合了光譜學(xué)和成像技術(shù)，能夠同時(shí)獲取被測對(duì)象的圖像信息和光譜信息，從而全面地反映被測對(duì)象的物理化學(xué)特性。高光譜成像技術(shù)在識(shí)別和分類不同等級(jí)的大豆方面已有諸多研究，為實(shí)現(xiàn)大豆品質(zhì)的快速、無損、精準(zhǔn)檢測提供了新的技術(shù)手段，對(duì)于保障食品安全和提高農(nóng)業(yè)生產(chǎn)效率具有重要意義。

2、現(xiàn)有基于高光譜成像技術(shù)的大豆品質(zhì)檢測研究大多集中于分析大豆種類的光譜特征，往往忽略了大豆中可能存在的不完善粒(如蟲蛀、霉變、破損等)對(duì)光譜信息的影響。然而，這些不完善部分由于受到外界環(huán)境或生物因素的影響，其內(nèi)部的物理化學(xué)性質(zhì)已經(jīng)發(fā)生了改變，例如水分含量變化、蛋白質(zhì)變性、霉菌生長等，進(jìn)而會(huì)表現(xiàn)出與完整部分不同的光譜特性。不完善粒在光譜曲線上可能會(huì)出現(xiàn)峰位偏移、峰形改變、吸收峰強(qiáng)度變化等現(xiàn)象，這些變化反映了其內(nèi)部成分和結(jié)構(gòu)的變化。如果仍然采用傳統(tǒng)的光譜特征分析方法，就會(huì)將這些差異信息混淆在一起，導(dǎo)致模型難以準(zhǔn)確識(shí)別和區(qū)分不同品質(zhì)的大豆，產(chǎn)生誤判，最終導(dǎo)致分類精度下降，影響實(shí)際應(yīng)用效果。

3、因此，如何有效區(qū)分和利用不完善粒與正常粒的光譜信息，對(duì)于提高大豆品質(zhì)分級(jí)和缺陷檢測的準(zhǔn)確性至關(guān)重要。更精確地識(shí)別和剔除不完善部分的光譜信息，可以提高模型對(duì)不同品質(zhì)大豆的區(qū)分度，從而提高分類精度。同時(shí)，對(duì)不完善的光譜特征進(jìn)行分析，可以進(jìn)一步挖掘其蘊(yùn)含的缺陷信息，例如蟲蛀的程度、霉變的類型等，為大豆的精細(xì)化分級(jí)提供更多依據(jù)。這也是本發(fā)明希望解決的主要問題，即針對(duì)現(xiàn)有技術(shù)存在的不足，提出一種能夠有效區(qū)分和利用不完善粒與完整粒光譜信息的分類方法，以提高大豆品質(zhì)分級(jí)和缺陷檢測的準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)思路

1、在現(xiàn)有大豆品質(zhì)分級(jí)和缺陷檢測技術(shù)中，如何精準(zhǔn)區(qū)分和利用不完善粒與正常粒的光譜信息，一直是一個(gè)技術(shù)瓶頸。傳統(tǒng)的分類方法往往忽略了不完善粒的特征，導(dǎo)致分類精度難以滿足實(shí)際需求。為了解決這一問題，本發(fā)明提出了一種基于雙通道特征融合模型的不完善大豆高光譜成像分類方法。該方法的核心是構(gòu)建雙通道特征提取模型，確保光譜和圖像兩種特征都被充分捕捉和利用。在此基礎(chǔ)上，采用注意力機(jī)制等先進(jìn)的特征融合策略，將雙通道提取的特征進(jìn)行自適應(yīng)融合，實(shí)現(xiàn)對(duì)不完善大豆特征的全面表征。最終，利用融合后的特征信息構(gòu)建高精度的分類模型，實(shí)現(xiàn)對(duì)不同品質(zhì)大豆的精準(zhǔn)分類。本發(fā)明通過有效區(qū)分和利用不完善粒與正常粒的光譜信息，顯著提高了大豆品質(zhì)分級(jí)和缺陷檢測的準(zhǔn)確性，為大豆產(chǎn)業(yè)的智能化發(fā)展提供技術(shù)支撐。為實(shí)現(xiàn)上述目的，本發(fā)明提供了以下方案：

2、步驟一，嚴(yán)格遵循gb?1352-2023和gb/t?5494-2019的國家標(biāo)準(zhǔn)，系統(tǒng)地挑選出五種類型的大豆樣本。這五種類型分別為正常大豆、破損大豆、生霉大豆、病斑大豆和蟲蝕大豆。這一過程不僅要保證樣本的多樣性，還要確保其代表性，以便更好地反映不完善大豆的實(shí)際情況。在樣本選取過程中，重點(diǎn)關(guān)注每種類型大豆的外觀特征及其生長環(huán)境，以確保樣本的質(zhì)量和適用性。這些樣本將為后續(xù)的高光譜成像和數(shù)據(jù)分析奠定基礎(chǔ)；

3、步驟二，采用高光譜成像技術(shù)對(duì)選取的大豆樣本進(jìn)行詳細(xì)的成像數(shù)據(jù)采集。這一過程將涵蓋可見光-近紅外以及短波紅外兩個(gè)波段。在進(jìn)行成像時(shí)，確保使用高分辨率的成像設(shè)備，以獲得高質(zhì)量的光譜圖像數(shù)據(jù)。通過記錄成像參數(shù)，如波長范圍、光譜分辨率和空間分辨率等，為后續(xù)分析提供準(zhǔn)確的數(shù)據(jù)基礎(chǔ)。此外，考慮環(huán)境因素對(duì)成像質(zhì)量的影響，如光照強(qiáng)度、溫度和濕度等，以確保數(shù)據(jù)的一致性和可靠性；

4、步驟三，構(gòu)建基于雙通道特征融合和注意力機(jī)制的大豆分類預(yù)測模型。設(shè)計(jì)雙通道輸入結(jié)構(gòu)，分別輸入一維光譜數(shù)據(jù)和二維圖像數(shù)據(jù)。通過這種結(jié)構(gòu)，可以充分利用光譜信息與圖像信息的互補(bǔ)特性，提高模型的分類能力。利用卷積神經(jīng)網(wǎng)絡(luò)提取光譜特征和圖像特征，確保特征提取的全面性和精確性。實(shí)施特征融合，通過特征拼接和特征相加的方法，將光譜數(shù)據(jù)和圖像數(shù)據(jù)的特征進(jìn)行有效結(jié)合。同時(shí)，引入注意力機(jī)制，使模型能夠更加關(guān)注重要特征，抑制無關(guān)特征的干擾。此外，將采用殘差連接結(jié)構(gòu)，緩解深度網(wǎng)絡(luò)訓(xùn)練過程中的梯度消失問題，從而加速模型收斂，提高模型的學(xué)習(xí)能力。模型訓(xùn)練將基于已標(biāo)記的大豆樣本數(shù)據(jù)進(jìn)行，采用交叉驗(yàn)證方法優(yōu)化模型參數(shù)，確保模型的魯棒性和穩(wěn)定性。訓(xùn)練過程中，將不斷監(jiān)測模型的性能，調(diào)整學(xué)習(xí)率、訓(xùn)練輪數(shù)等超參數(shù)。構(gòu)建支持向量機(jī)和卷積神經(jīng)網(wǎng)絡(luò)的大豆分類預(yù)測模型。進(jìn)行光譜數(shù)據(jù)的預(yù)處理，以消除噪聲和背景干擾。采用一階導(dǎo)數(shù)、標(biāo)準(zhǔn)正態(tài)變量變等方法，提高信噪比。這一步驟至關(guān)重要，因?yàn)楦吖庾V數(shù)據(jù)通常受到各種干擾，良好的預(yù)處理能夠顯著提高后續(xù)分析的準(zhǔn)確性。通過特征選擇算法，篩選出對(duì)大豆分類具有顯著響應(yīng)的特征波段。這一過程不僅有助于降低數(shù)據(jù)維度，提升計(jì)算效率，還能增強(qiáng)模型對(duì)于特定類別的識(shí)別能力。采用灰度共生矩陣等方法提取圖像的紋理特征，以便更全面地描述大豆的外部特征。在這一過程中，還會(huì)結(jié)合形態(tài)學(xué)特征提取技術(shù)，分析大豆的形狀、大小等信息，進(jìn)一步豐富特征庫。在完成特征提取后，將利用提取的特征波段的光譜信息與圖像特征進(jìn)行數(shù)據(jù)融合。通過構(gòu)建特征向量，將分別利用支持向量機(jī)和卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行大豆分類預(yù)測。在這一階段，將對(duì)模型進(jìn)行參數(shù)優(yōu)化，選擇合適的核函數(shù)、懲罰系數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)率，以提高模型的分類性能。在成功構(gòu)建基于傳統(tǒng)方法(支持向量機(jī)、卷積神經(jīng)網(wǎng)絡(luò))和基于雙通道特征融合的深度學(xué)習(xí)模型后，需要對(duì)它們的分類性能進(jìn)行全面評(píng)估和比較。為此，采用五個(gè)關(guān)鍵指標(biāo)：準(zhǔn)確率、精確度、召回率、特異性和f1得分。準(zhǔn)確率反映模型整體分類的正確比例，精確度衡量模型對(duì)特定類別預(yù)測的準(zhǔn)確性，召回率評(píng)估模型對(duì)特定類別樣本的識(shí)別能力，特異性則體現(xiàn)模型區(qū)分不同類別的能力，而f1得分綜合考慮了精確率和召回率。通過計(jì)算并比較三種模型在這些指標(biāo)上的表現(xiàn)，可以清晰地了解它們各自的優(yōu)缺點(diǎn)。通過比較支持向量機(jī)、卷積神經(jīng)網(wǎng)絡(luò)模型和雙通道特征融合模型的性能，可以分析特征融合策略對(duì)模型性能的影響。

5、為了確保模型在實(shí)際應(yīng)用中的可靠性，需要使用獨(dú)立的驗(yàn)證集來評(píng)估模型的泛化能力。為此，使用包含50個(gè)未參與模型訓(xùn)練的大豆樣本的獨(dú)立驗(yàn)證集。利用訓(xùn)練好的模型對(duì)驗(yàn)證集數(shù)據(jù)進(jìn)行預(yù)測后，將以可視化的方式展示模型的分類結(jié)果，可以評(píng)估模型的泛化能力和實(shí)際應(yīng)用潛力。如果模型在驗(yàn)證集上表現(xiàn)良好，說明模型具有較強(qiáng)的泛化能力，可以應(yīng)用于實(shí)際場景中；反之，則需要進(jìn)一步優(yōu)化模型結(jié)構(gòu)或調(diào)整訓(xùn)練策略。

6、步驟四，使用大豆分類預(yù)測模型進(jìn)行大豆高光譜成像分類。

7、所述步驟一中不完善大豆樣本需滿足gb?1352-2023和gb/t?5494-2019的標(biāo)準(zhǔn)，且包含多種可見缺陷，例如蟲蛀、霉變、破損等，涵蓋不同種類的不完善特征，以確保模型訓(xùn)練和驗(yàn)證的多樣性和可靠性。

8、所述步驟二中高光譜圖像由可見光-近紅外系統(tǒng)以及短波紅外系統(tǒng)采集。其中，可見光-近紅外系統(tǒng)采用像素為804×440的iclb1620ccd相機(jī)、光譜分辨率為2.8nm的imspectorv10e成像光譜儀(382.67-1010.64nm)、鹵素光源以及移動(dòng)平臺(tái)，移動(dòng)平臺(tái)速度設(shè)定為7mm/s，移動(dòng)距離設(shè)定為80至280mm，曝光時(shí)間為3毫秒。短波紅外系統(tǒng)則采用320×256像素的em285cl相機(jī)、波長范圍982.38-2562.36nm、光譜分辨率為6.5nm的imspectorn25e成像光譜儀、強(qiáng)度設(shè)為250的鹵素光源以及移動(dòng)平臺(tái)，移動(dòng)平臺(tái)速度設(shè)定為17mm/s，移動(dòng)距離設(shè)定為80至300mm，曝光時(shí)間為1.5毫秒。兩套系統(tǒng)均置于暗箱中以避免光線干擾，并在數(shù)據(jù)采集前預(yù)熱30分鐘以避免光源干擾。

9、所述步驟三中的模型構(gòu)建、特征波段篩選、特征融合策略優(yōu)化以及模型性能評(píng)估均在該環(huán)境下進(jìn)行。模型構(gòu)建階段利用pytorch深度學(xué)習(xí)框架，實(shí)現(xiàn)了基于卷積神經(jīng)網(wǎng)絡(luò)的雙通道特征提取架構(gòu)。這種架構(gòu)的設(shè)計(jì)目的是分別處理高光譜遙感圖像中的光譜和空間特征。光譜通道負(fù)責(zé)捕捉不同波段之間的相關(guān)性和變化，而空間通道則關(guān)注圖像中的紋理、形狀和上下文信息。通過這種雙通道設(shè)計(jì)，模型能夠更全面地理解和利用高光譜數(shù)據(jù)的多維特性。特征波段篩選環(huán)節(jié)借助reileff算法，這是一種基于實(shí)例的特征選擇方法。該算法通過評(píng)估每個(gè)波段對(duì)分類結(jié)果的貢獻(xiàn)程度，篩選出對(duì)目標(biāo)識(shí)別和分類最有價(jià)值的波段集合。這一步驟不僅能夠提高模型的效率，還可以降低數(shù)據(jù)冗余，突出關(guān)鍵信息，從而提升分類精度。在特征融合策略優(yōu)化方面，研究比較了兩種主要方法：簡單的特征相加和更復(fù)雜的注意力機(jī)制。特征相加是一種直接的融合方式，將光譜和空間特征直接疊加。而注意力機(jī)制則能夠動(dòng)態(tài)地調(diào)整不同特征的權(quán)重，根據(jù)輸入數(shù)據(jù)的特性自適應(yīng)地突出重要信息。通過實(shí)驗(yàn)比較這兩種方法的性能，最終選擇最優(yōu)的融合策略，以達(dá)到光譜和空間信息的最佳協(xié)同效果。模型性能評(píng)估是整個(gè)研究過程中的關(guān)鍵環(huán)節(jié)，采用了多種先進(jìn)工具和方法來全面評(píng)估模型表現(xiàn)。這個(gè)過程主要依賴于python生態(tài)系統(tǒng)中的幾個(gè)核心庫：scikit-learn、numpy和pandas，以及用于數(shù)據(jù)可視化的庫。用scikit-learn庫進(jìn)行模型性能的定量評(píng)估。這個(gè)廣泛使用的機(jī)器學(xué)習(xí)庫提供了豐富的評(píng)估指標(biāo)，包括準(zhǔn)確率、精確率、召回率、f1分?jǐn)?shù)等。這些指標(biāo)不僅能夠反映模型的整體性能，還能深入分析模型在不同類別上的表現(xiàn)，有助于識(shí)別模型的優(yōu)勢和不足。使用numpy進(jìn)行高效的數(shù)組操作和數(shù)值計(jì)算。numpy的高性能數(shù)組對(duì)象和相關(guān)工具為大規(guī)模數(shù)據(jù)處理提供了強(qiáng)大支持，特別是在處理高維度的遙感數(shù)據(jù)時(shí)顯得尤為重要。它可以用于計(jì)算各種統(tǒng)計(jì)量，如均值、標(biāo)準(zhǔn)差等，這些都是評(píng)估模型穩(wěn)定性和可靠性的重要指標(biāo)。pandas庫則用于數(shù)據(jù)的結(jié)構(gòu)化處理和分析。它提供了dataframe等數(shù)據(jù)結(jié)構(gòu)，使得復(fù)雜的數(shù)據(jù)操作變得簡單直觀。在這個(gè)步驟中，pandas可以用來組織和管理評(píng)估結(jié)果，進(jìn)行數(shù)據(jù)清洗、轉(zhuǎn)換和聚合等操作，為后續(xù)的分析和可視化做好準(zhǔn)備。利用數(shù)據(jù)可視化庫生成直觀的圖表。通過這種綜合的評(píng)估方法，能夠全面、深入地了解所構(gòu)建模型的性能。這不僅包括整體的分類準(zhǔn)確性，還涵蓋了模型在處理不同類別樣本時(shí)的表現(xiàn)，以及模型的穩(wěn)定性和泛化能力。這種多角度、多維度的評(píng)估為模型的進(jìn)一步優(yōu)化和實(shí)際應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)，同時(shí)也為高光譜遙感圖像分類研究提供了可靠的方法論參考。

10、所述步驟四中還包括模型反演可視化，模型反演可視化是研究過程的最后一個(gè)關(guān)鍵環(huán)節(jié)，它將模型的分類結(jié)果轉(zhuǎn)化為直觀可見的圖像形式，使得研究成果更易于理解和展示。這個(gè)過程主要借助opencv庫來實(shí)現(xiàn)，opencv是一個(gè)強(qiáng)大的開源計(jì)算機(jī)視覺庫，廣泛用于圖像處理和計(jì)算機(jī)視覺任務(wù)。在這個(gè)步驟中，利用opencv庫的圖像處理功能，將模型的分類結(jié)果巧妙地與原始高光譜遙感圖像結(jié)合，生成可視化結(jié)果。這個(gè)過程主要包含以下幾個(gè)方面：使用opencv讀取原始的高光譜遙感圖像。將模型的分類結(jié)果轉(zhuǎn)換為顏色編碼。每個(gè)分類類別被賦予一個(gè)獨(dú)特的顏色，這樣可以在最終的可視化結(jié)果中清晰地區(qū)分不同的地物類型。將顏色編碼后的分類結(jié)果疊加到原始圖像上。這種分類圖完全由模型的分類結(jié)果構(gòu)成，每個(gè)目標(biāo)物的顏色都代表了該點(diǎn)被分類的類別。這種可視化方式更加突出模型的分類結(jié)果，有助于整體評(píng)估模型的性能。

11、本發(fā)明的有益效果

12、本發(fā)明提出一種基于雙通道特征融合模型和注意力機(jī)制的不完善大豆分類方法，實(shí)現(xiàn)了對(duì)一維光譜數(shù)據(jù)和二維圖像數(shù)據(jù)的有效融合。該方法創(chuàng)新性地構(gòu)建了雙通道深度學(xué)習(xí)模型，分別提取光譜特征和圖像特征，并通過注意力機(jī)制實(shí)現(xiàn)了兩種特征的自適應(yīng)融合，從而更全面地捕捉不完善大豆的特征信息。通過對(duì)模型進(jìn)行深度優(yōu)化，本發(fā)明有效提高了不完善大豆的分類精度。在可見光-近紅外和短波紅外兩種光譜范圍內(nèi)，該方法均表現(xiàn)出優(yōu)異的分類性能，精度分別達(dá)到了95.13％和94.00％，顯著優(yōu)于傳統(tǒng)的支持向量機(jī)和卷積神經(jīng)網(wǎng)絡(luò)方法。這一結(jié)果表明，雙通道特征融合模型能夠更有效地提取和利用不完善大豆的多源特征信息，從而提高分類精度。此外，研究還發(fā)現(xiàn)，可見光-近紅外光譜范圍對(duì)于識(shí)別不完善大豆更為有效。這可能是因?yàn)樵摬ǘ伟嗯c不完善大豆形態(tài)、顏色和紋理相關(guān)的特征信息。這一發(fā)現(xiàn)為后續(xù)研究提供了重要參考，未來可著重關(guān)注可見光-近紅外波段，開發(fā)更加精準(zhǔn)的不完善大豆識(shí)別技術(shù)。