一種多模態醫學圖像配準與可視化方法
【專利摘要】本發明涉及一種多模態醫學圖像配準與可視化方法。該方法基于FLTK、VTK、IRTK技術，提供友好操作界面以及可視化功能，簡化復雜的算法參數配置過程，方便配準操作，實現多模態醫學圖像配準工作；提供圖像去燥聲預處理，以提高圖像質量，減少噪聲對配準精度的影響；針對目標圖像與源圖像存在較大坐標位置差異的情況，提供點集配準方法完成坐標位置粗配準，為后續剛性、仿射以及非線性配準的實施做初始化；支持多種配準方法的級聯工作模式，以提高配準效率；采用多線程編程技術，實現配準的中間過程實時動態顯示，方便了解和監測配準過程；配準結果自動輸出并保存；利用所述配準結果的變換矩陣并加上平滑限制項，可實現微分同胚變換和快速分割功能。
【專利說明】
一種多模態醫學圖像配準與可視化方法
技術領域
[0001]本發明涉及計算機應用技術與醫學圖像配準技術領域，具體涉及一種基于IRTK、VTK和FLTK技術的多模態醫學圖像配準與可視化方法。
【背景技術】
[0002]目前，醫學圖像在醫療診斷、計劃治療、引導治療以及疾病監測過程中得到了越來越廣泛的應用。得益于豐富多樣的醫學成像模態(如CT、MR1、PET等)，現代醫療影像技術正改變著傳統醫療的診斷和治療方式。在醫學圖像分析時，通常需將這些多模態圖像信息綜合到一起以便進行疾病分析和診斷，在這一過程中，醫學圖像配準技術發揮著至關重要的作用，所謂的醫學圖像配準技術就是通過尋找一個最優的幾何變換，通過該變換使得來自不同時間或不同條件下的兩幅或多幅醫學圖像達到空間位置上的一致，這種一致是指人體上的同一解剖點或者具有診斷意義的點在兩張或者多張匹配圖像上相同的空間位置，目的在于檢測和修正患者的擺位誤差、靶區和正常組織形狀改變、移位或者退縮等變化。例如，在腫瘤分次放療過程中，由于患者擺位的誤差、或因治療反應，導致靶區和危機器官的形狀改變、移位和退縮等因素引起放療劑量分布發生變化，造成靶區受劑量減少而危機器官的受劑量增加的情況，影響放療效果，增加并發癥發生概率。通過醫學圖像配準技術綜合不同圖像上的解剖結構信息，可快速判斷放療過程中解剖學部位的移位、退縮和變形情況，并快速計算和評估解剖結構位置的變化對劑量分布的影響，以決定是否修改和重新制定放療計劃。
[0003]多年以來，已有大量的文獻致力于醫學圖像配準算法和技術的研究，并取得了豐富的研究成果;伴隨著配準技術的發展，一些醫學圖像配準方法應運而生，應用于臨床上或者協助研究人員進行配準算法的研究。ITK和VTK是目前在醫學領域中使用較為廣泛的兩個算法平臺，其中ITK提供豐富的醫學圖像分割和配準算法，但缺乏可視化;VTK則致力于通用數據可視化過程，具有強大的三維圖像功能。在臨床應用領域，醫學圖像配準系統具備前沿、優秀的配準技術，并提供友好的圖形操作用戶界面及圖像數據可視化功能顯得非常重要。特別對于不熟悉算法參數配置的使用者，通過簡單、易交互的圖形操作界面便能夠完成復雜的配準工作，不僅提高了配準工作效率，而且通過圖像數據可視化功能獲得直觀、豐富的圖像信息，極大方便醫生根據呈現在屏幕上的圖像信息進行疾病預測、診斷、制定治療計劃以及開展教育教學等工作。不少研究人員和軟件開發者直接基于ITK和VTK等算法平臺進行新平臺的開發。
[0004]經對現有技術的文獻檢索發現，中國專利公開號CNl 0495 2078A，【公開日】為2015.09.30，專利名稱為:一種基于ITK/VTK和QT技術的圖像配準方法，該專利自述為:“公開一種圖像配準方法，利用ITK算法對三維圖像進行配準，利用VTK進行三維顯示，QT負責制作程序界面”。其不足之處是:該方法缺乏對圖像數據去噪聲預處理;配準過程只顯示迭代的數據和最后得到的配準結果，而不能實時動態顯示中間配準結果;不能提供目標圖像和源圖像的多種疊加交互顯示。該方法不能完成空間坐標位置差異巨大的多模態醫學圖像配準;該方法不能提供多種配準方法的級聯;無法根據配準結果的變換矩陣，快速完成快速分割以及微分同胚變換(即:通過同一變換參數，實現目標圖像到源圖像的逆向配準過程)。
【發明內容】
[0005]本發明的目是提供一種多模態醫學圖像配準與可視化方法，該方法基于IRTK、VTK和FLTK技術，具備友好的圖像配準操作界面及可視化功能，簡化了復雜的算法參數配置過程，提高配準效率。
[0006]為實現上述目的，本發明的技術方案是:一種多模態醫學圖像配準與可視化方法，包括如下步驟，
S1:提供一多模態醫學圖像配準與可視化系統，包括用戶交互控制單元、圖像配準單元、三維重建單元、可交互圖像數據顯示單元和數據結果輸出單元;所述用戶交互控制單元用于實現圖像數據的輸入、輸出及預處理;所述圖像配準單元用于實現圖像數據的配準;所述三維重建單元用于將所述用戶交互控制單元輸入的圖像數據或經所述圖像配準單元配準后的圖像數據進行三維重建，并傳輸給可交互圖像數據顯示單元;所述可交互圖像數據顯示單元用于交互顯示實時圖像數據;所述數據結果輸出單元用于實現圖像數據配準結果和配準結果變換矩陣的輸出與保存；
S2:通過所述用戶交互控制單元導入三維體數據，在可交互圖像數據顯示單元的圖像數據顯示窗口中分別顯示三維體數據的橫斷面、冠狀面、矢狀面以及經三維重建后的三維圖像；
S3:通過用戶交互控制單元對導入的目標圖像及源圖像采用中值濾波法進行去噪聲等預處理，減少噪聲對配準精度的影響，若圖像分辨率超過一預定閾值，還需在去噪聲處理之后采用重采樣方法，適當降低圖像分辨率，減少配準過程的計算量；
S4:通過圖像配準單元對經步驟S3處理后的圖像數據采用包括點集配準、剛性配準、仿射配準、非線性配準中的一種或多種配準方法級聯的方式進行配準，并經數據結果輸出單元輸出圖像數據配準結果及配準結果變換矩陣。
[0007]在本發明一實施例中，所述用戶交互控制單元通過FLTK實現，具體包括圖像數據輸入輸出模塊、去噪重采樣模塊和圖像操作模塊，所述圖像數據輸入輸出模塊用于實現圖像數據的輸入、輸出，所述去噪重采樣模塊用于對輸入的圖像數據進行去噪重采樣處理，所述圖像操作模塊用于對顯示于可交互圖像數據顯示單元的圖像進行旋轉、平移、縮放及切換視圖模式等操作。
[0008]在本發明一實施例中，所述三維重建單元采用VTK完成三維重構，具有面繪制和體繪制功能。
[0009]在本發明一實施例中，所述圖像配準單元是基于IRTK技術實現，配準步驟具體如下:(I)導入目標圖像和源圖像；(2)確定目標圖像和源圖像的數據大小和類型；(3)確定是否進行圖像數據去燥或重采樣預處理;(4)確定配準過程中所采用的變換模型，并根據不同的變換模型設置相應的相似性度量方法、插值方法、以及優化方法的算法參數；(5)確定是否采用多種配準方法級聯；(6)確定是否定義感興趣區域;(7)執行圖像配準工作，并輸出保存配準結果。
[0010]在本發明一實施例中，所述數據結果輸出單元能夠通過所述配準結果變換矩陣實現微分同胚變換，即通過配準結果的變換矩陣，加上平滑限制項，完成目標圖像到源圖像的逆向配準;還能夠通過所述配準結果變換矩陣實現快速分割，即對源圖像進行分割后，加上配準結果變換矩陣即可得到目標圖像的分割圖像。
[0011 ]相較于現有技術，本發明具有以下有益效果:
本發明使用了 IRTK/VTK和FLTK技術實現多模態醫學圖像配準與可視化功能，提供了一款界面友好、易交互、可視化的圖像配準系統，通過友好的圖形用戶操作界面以及圖像數據的可視化功能，簡化復雜的算法參數配置過程，達到方便、快捷地完成復雜配準工作的目的，改變以往算法工具通過命令行進行圖像配準;配準前使用圖像去燥預處理方法提高配準精度;支持多模態醫學圖像配準(如CT和MR1、MRI和MR1、CT和CT等醫學圖像之間的配準)；提供多種配準方法的級聯工作模式，提高配準效率;配準的中間過程實時動態顯示，提高了視覺效果和既視感，方便了解和監測配準動態;提供目標圖像和源圖像多種疊加視圖模式，方便觀察配準的匹配情況;根據源圖像映射到目標圖像的變換矩陣，可實現微分同胚變換和快速分割功能。
【附圖說明】
[0012]圖1為本發明系統整體框圖。
[0013]圖2為本發明配準流程圖。
[0014]圖3為本發明系統主界面圖。
[0015]圖4為本發明同一宮頸癌患者的內、外照射MRI三維圖像的點集配準與非線性配準結果圖。
[0016]圖5為本發明同一患者的二維人腦的Tl-weighted MRI和T2_weighted MRI的帶噪聲圖像(上)、去燥聲后的圖像(中)和非線性配準結果圖像(下)。
[0017]圖6為本發明同一患者的三維CT圖像和MRI圖像的配準結果圖。
【具體實施方式】
[0018]下面結合附圖，對本發明的技術方案進行具體說明。
[0019]如圖1所示，本發明的一種多模態醫學圖像配準與可視化方法，包括如下步驟，
S1:提供一多模態醫學圖像配準與可視化系統，包括用戶交互控制單元、圖像配準單元、三維重建單元、數據結果輸出單元和可交互圖像數據顯示單元;所述用戶交互控制單元用于實現圖像數據的輸入、輸出及預處理;所述圖像配準單元用于實現圖像數據的配準;所述三維重建單元用于將所述用戶交互控制單元輸入的圖像數據或經所述圖像配準單元配準后的圖像數據進行三維重建后，并傳輸給可交互圖像數據顯示單元;所述可交互圖像數據顯示單元用于交互顯示實時圖像數據;所述數據結果輸出單元用于實現圖像數據配準結果和配準結果變換矩陣的輸出與保存；
S2:通過所述用戶交互控制單元導入三維體數據，在可交互圖像數據顯示單元的圖像數據顯示窗口中分別顯示三維體數據的橫斷面、冠狀面、矢狀面以及經三維重建后的三維圖像；
S3:通過用戶交互控制單元對讀取的目標圖像及源圖像進行去噪聲處理，以減少噪聲對配準精度的影響，若圖像分辨率超過一預定閾值，還需在去噪聲處理之前采用重采樣方法，降低圖像分辨率；
S4:通過圖像配準單元對經步驟S3處理后的圖像數據采用包括點集配準、剛性配準、仿射配準、非線性配準中的一種或多種配準方法級聯的方式進行配準，并經數據結果輸出單元輸出圖像數據配準結果及配準結果變換矩陣。
[0020]所述用戶交互控制單元通過FLTK實現，具體包括圖像數據輸入輸出模塊、去噪重采樣模塊和圖像操作模塊，所述圖像數據輸入輸出模塊用于實現圖像數據的輸入、輸出，所述去噪重采樣模塊用于對輸入的圖像數據進行去噪重采樣處理，所述圖像操作模塊用于對顯示于可交互圖像數據顯示單元的圖像進行旋轉、平移、縮放及切換視圖模式的操作。所述三維重建單元采用VTK完成三維重構，具有面繪制和體繪制功能。所述圖像配準單元是基于IRTK技術實現，如圖2所示，配準步驟具體如下:(I)導入目標圖像和源圖像;(2)確定目標圖像和源圖像的數據大小和類型；(3)確定是否進行圖像數據去燥或重采樣預處理；(4)確定配準過程中所采用的變換模型，并根據不同的變換模型設置相應的相似性度量方法、插值方法、以及優化方法的算法參數；(5)確定是否采用多種配準方法級聯；(6)確定是否定義感興趣區域；(7)執行圖像配準工作，并輸出保存配準結果。所述可交互圖像數據顯示單元采用OpenGL實現，用于交互顯示實時圖像數據。所述數據結果輸出單元能夠通過所述配準結果變換矩陣實現微分同胚變換;還能夠通過所述配準結果變換矩陣實現快速分割，即對源圖像進行分割后，通過配準結果變換矩陣即可得到目標圖像的分割圖像。
[0021]以下為本發明的具體實施過程。
[0022]本發明的一種基于IRTK、VTK、FLTK技術多模態醫學圖像配準與可視化方法，首先提供了一圖像配準與可視化系統，該系統在Windows環境下采用C++語言進行開發，并使用CMake跨平臺安裝工具進行編譯，方便系統在不同環境下移植并穩定運行，避免了重復開發和資源浪費。系統的整體框架如圖1所示。
[0023]1、圖形用戶交互界面和圖像數據顯示(即上述所述用戶交互控制單元和可交互圖像數據顯示單元):系統采用FLTK(The Fast Light Toolkit)作為用戶交互圖形界面開發；FLTK是一款跨平臺、輕量級的GUI開發庫，與其它許多圖形接口開發工具包(如MFC、GTK、QT)等相比，FLTK具有體積小、速度快、移植性強等優勢，FLTK的界面設計工具FLUID，提供豐富的GUI構件(Widget)每一個GUI構件可自定義其形狀、大小和顏色，通過回調函數cal lback(Fl_Widget* ,void *data)可完成相應控件的事件響應。FLTK中的每個界面類都有一個handle(int event)，只要繼承這個函數，就可以在其中處理自己的事物，如對用戶的錯誤操作進行提示和正確引導，極大提高系統容錯性能。此外，FLTK內置有OpenGL強大的圖形庫功能，系統在FLTK搭建的圖形界面下，結合OpenGL完成圖像數據繪制及顯示功能。系統主界面如圖3所示。
[0024]2、三維重建與可視化(即上述所述三維重建單元):采用￥1'1((￥丨81^1丨231:;[011Toolkit)完成三維重構。VTK是一款進行數據可視化的開發工具包，具有良好的可移植性。其面向通用可視化領域，提供用于三維計算機圖形學、圖像處理和可視化的開源代碼和軟件類庫，尤其在三維重建(Marching Cubes:面繪制和體繪制)方面具有強大的功能。與面繪制相比，體繪制能夠更真實的反映物體結構，但其運算量非常巨大而且復雜，不易實現;面繪制則因其具有運算簡單等特點，成為目前醫學圖像三維重建的主流算法。面繪制采用了分割技術對一系列的三維圖像進行輪廓識別、特征提取等操作，利用提取的特征還原出被檢測物體的三維模型，并以表面的方式顯示出來，其基本步驟如下:讀取器-> 提取等值面->數據處理-> 映射器-> 實例化角色-> 繪制器-> 繪制窗口->交互器-> 交換方式。
[0025]3、算法參數選擇和配置(即上述所述圖像配準單元):IRTK是一款專門處理醫學圖像配準的算法平臺，由D.Rueckert教授等采用C++語言實現，支持夸平臺，具有良好的可移植性。目前較為流行的ITK中基于B樣條的非線性配準也是基于D.Rueckert等提出的B樣條自由形變模型的思想。本發明的配準技術大部分基于IRTK(Image Registrat1n Toolkit)實現，并根據特定的任務對配準算法進行修改。提出使用點集配準方法以實現坐標位置粗配準;提出多種配準方法的級聯工作模式，以提高配準效率和配準精度;采用基于B樣條的自由形變模型，并使用歸一化互信息(匪I)作為相似性度量，實現多模態圖像的非線性配準。提出并使用多線程編程技術，通過不同線程來實現圖像配準和可視化過程的并行處理，將配準的中間過程實時動態顯示，提高配準過程的既視感，方便了解和監測配準過程;根據配準結果的變換矩陣，實現微分同胚變換和快速分割功能。
[0026]4、數據結果輸出(即上述所述數據結果輸出單元):數據結果主要包含兩部分即圖像數據配準結果和配準結果的變換矩陣，其中配準結果的變換矩陣是本發明支持多種方法級聯的關鍵。此外該變換矩陣還有許多用途，如實現微分同胚變換和快速分割等。快速分割即對源圖像進行分割后，加上該變換矩陣即可得到目標圖像的分割圖像。因此對數據結果的正確輸出和保存具有重要的意義和價值。
[0027]以下為本發明的一具體實施例。
[0028]本實施例結合同一宮頸癌患者的外照射和內照射MRI三維圖像數據說明本發明的多模態醫學圖像配和可視化方法
(I)讀取圖像及其它操作:通過系統的菜單欄或快捷鍵將內外照射MRI三維圖像數據讀入，外照射MRI輸入為目標圖像，內照射MRI輸入為源圖像(也稱為待配準圖像)。導入的圖像數據將在圖像數據顯示窗口中分別顯示橫斷面、冠狀面、矢狀面以及三維圖像，效果如圖3所示。在視圖控制面板分別顯示有目標圖像和源圖像的文件信息和當前光標位置的圖像灰度值，可改變圖像的灰度和圖像的顏色，設置插值方式，設置目標圖像和源圖像不同疊加視圖模式等功能。
[0029](2)去燥聲預處理:對導入的圖像數據采用中值濾波法進行去噪聲預處理，以提高圖像質量，減少噪聲對配準精度的影響。當圖像數據分辨率過高時，可通過系統提供的重采樣方法，適當降低分辨，以減少運算量，在這一過程中用戶可自定義三維圖像XYZ軸方向的體素間距。
[0030](3)點集配準:因內外照射MRI圖像由不同的成像設備獲得，導致這兩幅圖像的坐標位置差異巨大，超出了配準算法的變換域。因此采用點集配準方法，可快速完成坐標位置的預匹配(若目標圖像和源圖像在同一坐標位置上，則不必采用點集配準，可直接采用剛性、仿射或者非線性配準)。在點集配準方法中，用戶可直接在目標圖像和源圖像上添加、刪除和替換對應標記點；也可從外部載入已有的對應標記點文件，進行點集配準，文件格式為.vtk。通過點集配準后，原本坐標位置差異巨大的兩幅圖像呈現在同一空間位置上，點集配準結果如圖4所示(左)。
[0031](4)多種配準方法級聯:本發明提供多種配準方法級聯的配準模式，通過不同配準方法的級聯可提高配準效率。如圖1中的算法參數配置所示。這里介紹了點集配準與非線性配準的級聯方法。其他級聯方法，如點集配準與剛性配準的級聯，剛性配準與仿射配準的級聯、仿射配準與非線性配準的級聯等可采取相同的方式實現。初級配準結果的變換矩陣用于支持不同配準方法之間的級聯，即將點集配準結果的變換矩陣作為非線性配準的初始條件，實現點集和非線性配準方法之間的級聯。
[0032](5)非線性配準:在算法參數配置方面，本發明提供兩種配置模式:即默認參數和自定義參數。在第一種模式下，用戶使用系統默認參數即可完成配準工作，值得注意的是該模式并不適用于所有配準任務，只適合一般的配準任務;第二種模式，用戶可根據具體的配準任務，對部分默認參數進行修改，如金字塔層數、相似性度量、優化方法等參數;更多參數設置如迭代次數、迭代步長、插值方法等則可在系統提供的默認參數文件中進行修改和設置，用于完成特定的配準任務。然后將參文件導入，以完成參數配置。此外，還可以設置非感興趣和感興趣區域，用于確定配準區域，減少配準工作量。算法參數配置完成后，即可執行相應的配準工作。配準的中間過程實時動態顯示在可交互圖像顯示窗口。配準結果和變換參數自動保存到硬盤上，可以自定義輸出保存路徑。非線性配準結果如圖4所示(右)。
[0033](6)微分同胚變換:將目標圖像和源圖像導入順序對換，即將原來的目標圖像變為源圖像，將原來的源圖像變為目標圖像，利用上述的變換矩陣，計算其可逆矩陣，并加入平滑限制項，即完成目標圖像到源圖像的逆向配準過程。
[0034]為了說明本發明的其他模態配準功能，圖5給出了同一患者二維人腦的Tl-weighted MRI和T2_weighted MRI的帶噪聲圖像(上)、去燥聲后的圖像(中)和非線性配準結果圖像(下)，圖6給出了同一患者的三維CT圖像和MRI圖像的配準結果。
[0035]以上是本發明的較佳實施例，凡依本發明技術方案所作的改變，所產生的功能作用未超出本發明技術方案的范圍時，均屬于本發明的保護范圍。
【主權項】
1.一種多模態醫學圖像配準與可視化方法，其特征在于:包括如下步驟， S1:提供一多模態醫學圖像配準與可視化系統，包括用戶交互控制單元、圖像配準單元、三維重建單元、可交互圖像數據顯示單元和數據結果輸出單元;所述用戶交互控制單元用于實現圖像數據的輸入、輸出及預處理;所述圖像配準單元用于實現圖像數據的配準;所述三維重建單元用于將所述用戶交互控制單元輸入的圖像數據或經所述圖像配準單元配準后的圖像數據進行三維重建，并傳輸給可交互圖像數據顯示單元;所述可交互圖像數據顯示單元用于交互顯示實時圖像數據;所述數據結果輸出單元用于實現圖像數據配準結果和配準結果變換矩陣的輸出與保存； S2:通過所述用戶交互控制單元導入三維體數據，在可交互圖像數據顯示單元的圖像數據顯示窗口中分別顯示三維體數據的橫斷面、冠狀面、矢狀面以及經三維重建后的三維圖像； S3:通過用戶交互控制單元對導入的目標圖像及源圖像進行去噪聲等預處理，減少噪聲對配準精度的影響，若圖像分辨率超過一預定閾值，還需在去噪聲處理之后采用重采樣方法，適當降低圖像分辨率，減少配準過程的計算量； S4:通過圖像配準單元對經步驟S3處理后的圖像數據采用包括點集配準、剛性配準、仿射配準、非線性配準中的一種或多種配準方法級聯的方式進行配準，并經數據結果輸出單元輸出圖像數據配準結果及配準結果變換矩陣。2.根據權利要求1所述的一種多模態醫學圖像配準與可視化方法，其特征在于:所述用戶交互控制單元通過FLTK實現，具體包括圖像數據輸入輸出模塊、去噪重采樣模塊和圖像操作模塊，所述圖像數據輸入輸出模塊用于實現圖像數據的輸入、輸出，所述去噪重采樣模塊用于對輸入的圖像數據進行去噪重采樣處理，所述圖像操作模塊用于對顯示于可交互圖像數據顯示單元的圖像進行旋轉、平移、縮放及切換視圖模式等操作。3.根據權利要求1所述的一種多模態醫學圖像配準與可視化方法，其特征在于:所述三維重建單元采用VTK完成三維重構，具有面繪制和體繪制功能。4.根據權利要求1所述的一種多模態醫學圖像配準與可視化方法，其特征在于:所述圖像配準單元是基于IRTK技術實現，配準步驟具體如下:(I)導入目標圖像和源圖像；(2)確定目標圖像和源圖像的數據大小和類型；(3)確定是否進行圖像數據去燥或重采樣預處理；(4)確定配準過程中所采用的變換模型，并根據不同的變換模型設置相應的相似性度量方法、插值方法、以及優化方法的算法參數；(5)確定是否采用多種配準方法級聯；(6)確定是否定義感興趣區域;(7)執行圖像配準工作，并輸出保存配準結果。5.根據權利要求1所述的一種多模態醫學圖像配準與可視化方法，其特征在于:所述數據結果輸出單元能夠通過所述配準結果變換矩陣實現微分同胚變換，即通過配準結果的變換矩陣，加上平滑限制項，完成目標圖像到源圖像的逆向配準;還能夠通過所述配準結果變換矩陣實現快速分割，即對源圖像進行分割后，加上配準結果變換矩陣即可得到目標圖像的分割圖像。
【文檔編號】G06T7/00GK106097347SQ201610419404
【公開日】2016年11月9日
【申請日】2016年6月14日 公開號201610419404.3, CN 106097347 A, CN 106097347A, CN 201610419404, CN-A-106097347, CN106097347 A, CN106097347A, CN201610419404, CN201610419404.3
【發明人】高欽泉, 林紹輝, 高躍明, 杜民
【申請人】福州大學