本發明涉及圖像處理,尤其是指一種三維醫學圖像分割方法。
背景技術:
1、圖像分割是計算機視覺和圖像處理領域的重要研究方向,其目標是將圖像劃分為若干互不重疊的連通區域,并提取感興趣區域(roi)。在醫學圖像分割領域,三維醫學圖像的分割在臨床診斷和治療規劃中發揮著至關重要的作用。然而,深度學習模型通常依賴大量高質量的標注數據,而醫學圖像的標注過程成本高昂且耗時費力,嚴重制約了其在實際應用中的推廣。
2、近年來,半監督學習方法成為研究熱點,其核心思想在于通過有效利用未標注數據提高模型的泛化能力,緩解標注數據稀缺的問題。然而,現有的半監督分割方法在邊緣模糊、結構復雜的情況下,偽標簽噪聲易集中于邊緣區域,導致局部誤分割甚至整體形態失真,影響模型在臨床應用中的可靠性。此外,醫學圖像分割面臨的另一個重要挑戰是類別不平衡問題。由于醫學圖像中小類別樣本數量通常較少,模型容易傾向于預測大類別,進而導致性能下降。這些小類別的器官常常體積較小且樣本稀缺,進一步增加了模型訓練的難度。
3、綜上所述,由于模型依賴樣本數據進行訓練,而在樣本邊緣模糊、結果復雜以及小類別樣本數量少的情況下,現有的三維醫學圖像分割,存在分割邊緣模糊、分割精度低的問題。
技術實現思路
1、為此,本發明所要解決的技術問題在于克服現有技術中在面對三維醫學圖像樣本邊緣模糊以及樣本類別不均衡時,分割精度低的問題。
2、為解決上述技術問題,本發明提供了一種三維醫學圖像分割方法,包括:
3、獲取包括標注樣本與未標注樣本的三維醫學圖像樣本集;
4、將所有樣本分別輸入雙網絡分割模型并行的兩個子網絡中,獲取每個樣本的兩個預測分割概率圖,并基于未標注樣本的未歸一化分類得分,計算未標注樣本的軟偽標簽;子網絡基于v-net網絡構建;
5、利用距離回歸頭與雙曲正切函數,基于所有樣本經過每個子網絡的解碼器輸出的解碼特征圖,獲取每個樣本的兩個預測符號距離場;
6、對于每個標注樣本:計算每個預測分割概率圖與真實標簽的交叉熵損失函數,得到分割損失;計算每個預測符號距離場與真實符號距離函數的符號距離函數損失,得到回歸損失;將分割損失與回歸損失相加,得到標注樣本的監督損失;
7、對于每個未標注樣本:計算每個預測分割概率圖與軟偽標簽的交叉熵損失與dice損失的平均值,得到偽標簽一致性損失;計算兩個預測符號距離場之間的符號距離函數損失,得到符號距離一致性損失;將偽標簽一致性損失與符號距離一致性損失相加,得到未標注樣本的一致性損失;
8、基于標注樣本的監督損失與未標注樣本的一致性損失,得到總損失函數,對雙網絡分割模型中每個子網絡進行訓練;
9、利用訓練好的雙網絡分割模型獲取輸入的待分割三維醫學圖像的分割結果。
10、優選地,樣本的預測符號距離場,表示為:
11、;
12、其中,表示類樣本經過子網絡后的預測符號距離場;子網絡標識,a與b分別表示雙網絡分割模型并行的兩個子網絡;樣本標注情況標識,當時為標注樣本,時為未標注樣本;為雙曲正切函數,表示輸出通道為1的距離回歸頭;表示類樣本經過子網絡的解碼器輸出的解碼特征圖。
13、優選地,計算標注樣本的監督損失,包括:
14、計算標注樣本在每個子網絡中的預測分割概率圖與其對應的真實標簽的交叉熵損失函數,得到分割損失,表示為:;
15、計算標注樣本在每個子網絡中的預測符號距離場與真實符號距離函數的符號距離函數損失,得到回歸損失,表示為:;
16、將分割損失與回歸損失相加,得到標注樣本的監督損失,表示為:;
17、其中,與分別表示第一子網絡a與第二子網絡b的可學習加權因子;表示交叉熵損失,y表示標注樣本的真實標簽;與分別表示標注樣本經過第一子網絡a與第二子網絡b輸出的預測分割概率圖,計算公式為;為標注樣本通過子網絡得到的解碼特征圖中所有體素的未歸一化分類得分,表示為:,表示1×1×1的三維卷積層,表示標注樣本中第個類別對應的分類得分,,表示樣本中器官總類別數;?表示softmax函數;表示指數函數;與分別表示標注樣本經過第一子網絡a與第二子網絡b輸出的預測符號距離場;表示符號距離函數損失,為l1損失與均方誤差損失的平均值;表示標注樣本的真實符號距離函數,表達式為:,表示下確界,表示真實標簽中的體素點,表示真實標簽表面的體素點,表示體素點與之間的平方歐幾里得距離,、與分別表示真實標簽外部區域、表面與內部區域。
18、優選地,計算未標注樣本的一致性損失,包括:
19、計算未標注樣本在每個子網絡中的預測分割概率圖與軟偽標簽的交叉熵損失與dice損失的平均值,得到偽標簽一致性損失,表示為:
20、;
21、計算未標注樣本在每個子網絡中的預測符號距離場之間的符號距離函數損失,得到符號距離一致性損失,表示為:;
22、將偽標簽一致性損失與符號距離一致性損失相加,得到未標注樣本的一致性損失,表示為:;
23、其中,與分別表示未標注樣本經過第一子網絡a與第二子網絡b輸出的預測分割概率圖;表示分割損失,為交叉熵損失與dice損失的平均值;與分別表示未標注樣本經過第一子網絡a與第二子網絡b輸出的未歸一化分類得分對應的軟偽標簽;在子網絡中軟偽標簽;表示預設軟偽標簽平滑程度參數,表示未標注樣本通過子網絡得到的解碼特征圖中所有體素的未歸一化分類得分,表示為:;表示未標注樣本中第個類別對應的未歸一化分類得分,,表示樣本中器官總類別數;與分別表示未標注樣本經過第一子網絡a與第二子網絡b輸出的預測符號距離場。
24、優選地,基于標注樣本的監督損失與未標注樣本的一致性損失,得到總損失函數,表示為:
25、;
26、其中,表示一致性損失權重,表達式為,表示當前訓練輪次,表示預設最大訓練輪次。
27、優選地,將訓練好的雙網絡分割模型的兩個子網絡輸出的兩個預測分割概率圖進行平均融合,獲取融合分割概率圖;對融合分割概率圖進行argmax操作,得到預測分割標簽;基于預測分割標簽,獲取待分割三維醫學圖像的分割結果。
28、優選地,將三維醫學圖像輸入基于v-net網絡的子網絡中,獲取樣本的預測分割概率圖,包括:
29、將三維醫學圖像樣本作為子網絡的編碼器的輸入;其中,子網絡標識,a與b分別表示雙網絡分割模型并行的兩個子網絡;樣本標注情況標識,當時為標注樣本,時為未標注樣本;經過四個串聯的編碼層后,輸出編碼特征圖;在每個編碼層中,輸入特征圖依次經過串聯的三維卷積塊與簡單注意力模塊后輸出注意力卷積特征圖,經過下采樣單元,輸出每個編碼層的輸出特征圖,表示為:;;表示子網絡的第層編碼層的輸出特征圖,;表示下采樣塊,包括步幅為2的三維卷積塊;表示子網絡的第層編碼層中經過次經過串聯的三維卷積塊與簡單注意力模塊后輸出的注意力卷積特征圖;表示簡單注意力模塊;表示編碼器中的三維卷積塊,包括依次串聯的多個卷積層、批歸一化層與relu激活層;
30、將編碼特征輸入瓶頸模塊,經過串聯的三維卷積塊與簡單注意力模塊,輸出全局特征圖;
31、將全局特征圖輸入解碼器中,經過四個串聯的解碼層后,輸出解碼特征圖;
32、將解碼特征圖輸入輸出層的分割預測單元,輸出對應的預測分割概率圖。
33、優選地,將全局特征圖輸入解碼器中,經過四個串聯的解碼層后,輸出解碼特征圖,包括:
34、在每個解碼層中,輸入特征圖經過上采樣后與對應編碼層的注意力卷積特征圖進行跳躍連接,再經過三維卷積塊后,輸出每個解碼層的輸出特征圖,表示為:;表示子網絡的第層解碼層的輸出特征圖,;表示解碼器中的三維卷積塊,包括依次串聯的多個卷積層、批歸一化層與relu激活層;表示上采樣塊,包括依次串聯的步幅為2的三維轉置卷積、批歸一化層與relu激活層;表示逐像素相加,表示子網絡的第層編碼層的注意力卷積特征圖;
35、將第二個解碼層的輸出特征圖經過維度調節塊與距離回歸頭,得到預測符號距離圖后,利用預設邊緣敏感度參數調節,獲取邊緣增強特征圖;
36、將邊緣增強特征圖與最高層輸出特征圖融合,輸出解碼特征圖。
37、優選地,解碼特征圖的獲取,包括:
38、計算第二層解碼層的輸出特征圖的預測符號距離圖,表示為:
39、;
40、基于預設邊緣敏感度參數與預測符號距離圖,獲取邊緣增強特征圖,表示為:;
41、基于解碼器的最高層輸出特征圖與邊緣增強特征圖,獲取解碼特征圖,表示為:;
42、其中,表示輸出通道為1的距離回歸頭,表示維度調節塊。
43、優選地,將三維醫學圖像樣本輸入雙網絡分割模型中前,還包括對三維醫學圖像樣本進行數據增強,包括:
44、對標注樣本與未標注樣本均進行隨機裁剪與隨機翻轉,獲取對應的標注三維輸入樣本數據和未標注三維輸入樣本數據;
45、基于每個標注三維輸入樣本數據中所包含的小類別器官區域的區域體積,以及小類別器官集合中體積最小的類別的體積,計算小類別器官區域的體積權重;
46、基于小類別器官區域中體素點的位置,計算小類別器官區域的符號距離函數;表示下確界,表示三維輸入樣本數據中第層切片在位置處的體素點,表示小類別器官區域表面的體素點,表示體素點與之間的平方歐幾里得距離;、與分別表示在小類別器官區域的外部區域、表面與內部區域;
47、基于小類別器官區域的體積權重與符號距離函數,以及擬合狄拉克函數,計算目標器官區域的主動輪廓形變場,表示為:;表示形變幅度控制參數,表示擬合狄拉克函數,表達式為,為正常數,為擬合狄拉克函數的計算變量;表示水平集的梯度,表示為;
48、基于三維高斯核函數與主動輪廓形變場,計算平滑形變場;為三維高斯核函數,為標準差,為卷積運算符號;
49、基于平滑形變場對標注三維輸入樣本數據及其對應的真實標簽進行平滑形變,獲取標注樣本對應的輸入樣本與增強后的真實標簽,為逐元素乘法運算符號。
50、本發明的上述技術方案相比現有技術具有以下有益效果:
51、本發明所述的三維醫學圖像分割方法,在訓練雙網絡分割模型時,采用雙網絡協同訓練框架,基于兩個子網絡輸出的預測分割概率圖、軟偽標簽與預測符號距離場,計算標注樣本的監督損失與未標注樣本的一致性損失進行聯合優化,實現了對標注樣本和未標注樣本的有效學習,從而在有限標簽場景下獲得更強的泛化能力,進一步優化了模型對三維醫學圖像的分割性能。對于標注樣本,利用交叉熵損失學習器官每個體素類別的分類,利用符號距離函數損失精準學習目標器官的幾何形狀,確?;A分割性能。對于無標注數據,通過對兩個子網絡輸出的軟偽標簽與預測分割概率圖,進行交叉協同訓練,相互監督,避免單一模型的預測偏差;并通過符號距離函數一致性,強制幾何預測的協同性,提升分割邊緣穩定性。
52、同時,本發明在編碼器部分引入了簡單注意力模塊,并在解碼器部分融合了邊緣增強模塊操作。本發明通過簡單注意力模塊對三維醫學圖像中體素級別的特征進行注意力加權,增強了對關鍵區域的感知,且簡單注意力模塊通過能量函數計算注意力權重,并不依賴額外參數,能夠在較低的計算成本下提高網絡對三維醫學圖像中關鍵區域的感知能力。本發明通過邊緣增強操作使網絡更關注邊緣區域,增強對弱邊緣區域的感知能力,從而提高弱邊緣醫學圖像的分割性能,進一步提高分割精度。
53、本發明對三維醫學圖像進行數據增強,提出主動輪廓形變數據增強策略,通過水平集方法對標注樣本和未標注樣本中的小器官區域進行形狀變換,以增強訓練樣本的多樣性,從而緩解類別不平衡問題,增強小類別器官的特征表征能力,增強模型的泛化能力和魯棒性,使得訓練好的雙網絡分割模型能夠有更高的分割精度。