本發明涉及計算機視覺目標檢測領域，特別涉及一種基于yolov11m應用于邊緣設備的芯片封裝缺陷檢測方法。

背景技術：

1、在科技日新月異的當下，半導體行業作為現代信息技術產業的核心與基石，正蓬勃發展。5g通信、人工智能、物聯網等新興技術的崛起，使得芯片需求呈爆發式增長，不僅數量上持續攀升，對性能、尺寸以及集成度的要求也愈發嚴苛。隨著芯片集成度不斷提高，芯片封裝環節愈發關鍵。封裝過程中，任何細微偏差都可能造成芯片表面出現封裝缺陷，這些缺陷嚴重影響芯片的可靠性與性能。在大規模芯片生產中，既要精準檢測出各類表面封裝缺陷，又要保證高效的檢測速度，已成為當下行業亟待解決的關鍵難題。

2、傳統芯片檢測方法存在諸多弊端。人工外觀檢查主觀性強，難以發現微小缺陷，效率極低；自動光學檢測雖一定程度提升了檢測效率，但其對芯片表面復雜紋理、多層結構的識別能力欠佳，當芯片表面存在反光、陰影等干擾因素時，容易出現誤判；電子束檢測雖能提供高分辨率圖像，但設備采購成本高昂，檢測過程中電子束對芯片表面有潛在損傷風險，檢測速度也相對較慢，每平方厘米的檢測時長較長，在追求高效、無損檢測的當下，大規模應用存在阻礙。

3、盡管yolov11m在目標檢測領域表現出色，但應用于芯片封裝缺陷檢測時仍有明顯短板。芯片封裝缺陷類型復雜，尺寸微小，普通yolov11m小目標檢測能力不足，易造成漏檢。同時，芯片生產線對實時檢測要求極高，普通yolov11m在高分辨率圖像下計算量大，推理速度難以達標。此外，芯片車間常用的邊緣計算設備資源有限，普通yolov11m龐大的模型參數難以實現輕量化部署。這些問題導致傳統yolov11m難以兼顧檢測精度、實時性與部署可行性，亟需改進。

4、其他領域也存在類似的需求，并已經有了一些有效的改進方案，例如，starnet骨干網絡的輕量化分層架構在醫療影像小目標檢測、自動駕駛實時檢測等領域可降低計算量并提升特征提取能力，simam注意力機制與gsconv輕量級卷積技術也分別在遙感圖像關鍵特征聚焦、車載邊緣設備計算成本優化等場景中體現價值；而在芯片封裝缺陷檢測領域，starnet的分層架構適配小目標特性并降低計算量，simam注意力機制適應圖像的復雜背景和易受干擾的缺陷，gsconv技術適用于低算力邊緣設備，這些改進技術在本領域展現出了良好適配性與應用潛力。

5、面對這些難題，傳統檢測方法和現有目標檢測模型逐漸暴露出局限性，難以滿足日益增長的行業需求，且其他領域解決類似需求的方案尚未有效應用于本領域。因此，迫切需要一種創新、高效的檢測模型來填補這一空白。

技術實現思路

1、本發明以原yolov11模型為基礎，提供一種基于yolov11m應用于邊緣設備的芯片封裝缺陷檢測方法，在保持檢測精度的情況下，旨在提高芯片封裝缺陷的檢測速度，減小模型大小與計算量，提升在邊緣設備部署的可行性。

2、本發明具體是通過以下技術方案來實現的，依據本發明提出的一種基于yolov11m應用于邊緣設備的芯片封裝缺陷檢測方法，其步驟如下：

3、步驟1，拍攝封裝芯片的圖像，對圖像中的缺陷位置進行坐標標記，導出坐標文件與圖像組成數據集；

4、步驟2，對數據集的數據增強，包括對圖像進行裁剪和拼接，對圖像進行翻轉，調整圖像的亮度、對比度和飽和度；

5、步驟3，將數據集按照8:1:1的比例劃分為訓練集、測試集和驗證集；

6、步驟4，搭建yolov11-ale目標檢測模型，其網絡結構包括backbone模塊、neck模塊和head模塊，分別負責特征提取、特征融合以及目標預測；

7、所述backbone模塊采用starnet網絡結構，然后將原有的c2psa模塊替換為c2cga模塊，用于調整通道間特征關聯，再增加simam注意力模塊強化關鍵特征輸出；

8、所述neck模塊，引入輕量級卷積技術gsconv，替換原有的conv模塊，將標準卷積與深度卷積結合，通過1×1卷積混合通道輸出，然后將原有的c3k2模塊替換為以gsconv為基礎的msr-vovgscsp模塊，經跨級連接與融合策略，完成特征處理與結構優化；

9、所述head模塊采用lwnbdet檢測頭，借助雙向特征傳播架構，跨尺度連接融合多尺度特征，以加權方式確定特征重要性，實現高效目標檢測；

10、步驟5，將數據集導入網絡進行訓練，得到改進后的目標檢測模型；

11、步驟6，將得到的模型的格式轉換為邊緣設備兼容格式，移植到邊緣設備，對芯片封裝缺陷進行檢測。

12、進一步，所述對數據集的數據增強包括：將圖像中包含缺陷的部分裁剪出來，然后將4-8張裁剪后的圖像均勻排布拼接成一張圖像；對圖像分別進行水平方向或垂直方向的翻轉；對圖像的亮度、對比度和飽和度分別進行升高25%和降低25%的處理；對同一張圖像進行上述方法的組合使用，從而使缺陷特征更加突出，有助于模型更好捕捉缺陷邊緣的細微細節。

13、進一步，所述starnet網絡結構采用四階段分層架構。首先，輸入圖像通過卷積層下采樣，改變輸入特征圖尺寸與維度；以批量歸一化替換原本歸一化并后置，便于推理時融合操作；將gelu換為relu6，簡化計算；隨后進入star?blocks進一步提取特征。其次，再次通過卷積層下采樣，特征圖尺寸進一步減小、通道數增多，接著由star?blocks提取更抽象特征。然后，重復卷積下采樣過程，特征圖分辨率持續降低、通道數繼續翻倍，經star?blocks讓特征表達更豐富。最后，又一次卷積下采樣，之后經star?blocks提取特征，通過全局平均池化和全連接層輸出結果。各模塊末尾添加深度可分離卷積，由深度卷積提取局部特征、逐點卷積整合通道信息；星操作塊含雙分支，經線性變換、逐元素相乘融合并殘差連接輸出，增強特征表達；網絡通道擴展因子固定為4，各階段寬度翻倍，調整塊數與嵌入通道數以適配不同場景。

14、進一步，將backbone模塊的基準模型網絡結構中c2psa模塊替換為c2cga模塊，c2cga嵌入基準模型后，輸入特征圖按通道切分多組，輸入通道數為1024，分成16組，每組通道數為64，各特征組獨立計算注意力；級聯融合時，前序輸出與當前組拼接處理，增強跨尺度交互，優化網絡結構，適配芯片封裝缺陷檢測。

15、進一步，在backbone模塊引入simam注意力機制，首先接收上一層輸出的維度為n×c×h×w的特征圖；接著，基于神經科學的“空間抑制”理論構建能量函數，求解得到各神經元重要性數值，生成涵蓋通道與空間維度的3d注意力權重；隨后，經sigmoid函數處理這些權重后，與原特征圖逐元素相乘，突出關鍵特征、抑制冗余；最終，輸出處理后的特征圖。

16、進一步，所述輕量級卷積技術gsconv將輸入特征圖分為兩組，一組經標準卷積，另一組經深度可分離卷積，后通過通道重排融合特征，在減少計算量同時保留特征表達能力。

17、進一步，所述msr-vovgscsp模塊，是以gsconv為基礎構建，將輸入特征圖經跨級連接分為兩個分支，在每個分支進行gsconv操作，并引入多尺度的3×3與5×5卷積核并行，處理分支特征，捕捉不同尺度信息，各分支輸出與殘差連接傳遞的淺層特征進行逐元素相加融合，再通過拼接融合分支特征，優化特征金字塔結構，增強特征表征能力。

18、進一步，所述lwnbdet檢測頭構建了多層級特征交互體系，自骨干網絡的不同卷積階段提取分辨率為原圖1/16、1/32、1/64、1/128的特征圖。通過搭建雙向并行傳導鏈路，將上采樣與下采樣特征進行逐元素相加與通道拼接操作；剔除僅作為單一數據流傳輸的節點，在同層級特征間建立旁路連接以增強信息復用。針對每個輸入特征分支，部署可訓練的權重向量進行通道維度加權，并基于歸一化融合公式計算特征融合系數，最終將融合后的特征矩陣輸入由共享參數卷積層構成的邊界框-類別預測網絡，實現缺陷位置回歸與類別判定。

19、進一步，所述得到的模型的格式轉換為邊緣設備兼容格式，移植到邊緣設備后，通過以下步驟實現封裝芯片缺陷檢測：建立包含封裝缺陷、劃痕缺陷、引腳缺陷、污漬缺陷的特征庫；設置置信度閾值，根據模型識別結果的置信度判斷結果的有效性；通過像素-物理尺寸標定算法實現缺陷尺寸測量；設置根據生產需求、缺陷類型、尺寸和置信度生成不同級別質量警報的預警機制。

20、本發明的yolov11-ale芯片封裝缺陷檢測模型通過優化yolov11m模型，引入starnet骨干網絡，輕量化分層架構降低計算量并適配小目標缺陷特征提取；采用cscga模塊分組機制降低計算復雜度，同時增強跨組特征交互；添加simam注意力機制聚焦缺陷關鍵特征點；改進原始卷積運算，gsconv將標準卷積與深度卷積結合，減少計算成本，加速neck層推理，以gsconv為基礎改進的msr-vovgscsp模塊提高跨層連接效率并適應不同大小缺陷特征；借助lwnbdet檢測頭的雙向特征傳播架構，跨尺度連接融合多尺度特征并加權確定特征重要性，減少無效運算，在保持檢測精度的同時，大幅提高了芯片封裝缺陷的檢測速度，減小了模型大小與計算量，提升了在邊緣設備部署的可行性。