專利名稱：自動3-d對象檢測的制作方法
技術領域：
本發明涉及一種優化和形狀模型產生技術，用于利用廣義Hough變換(GHT)在醫學圖像中進行對象檢測。GHT是一種用于檢測圖像中的分析曲線的公知技術[3，4]。這個方法在[1]中提出，該方法的廣義性用在對象邊界點與參考點之間的距離向量來表示所考慮的對象。從而無需參數化表示，這就使該技術能夠用于任意形狀。
通過使用梯度方向信息，可以識別在目標圖像中模型點與邊緣點之間可能的對應關系，其可以用于增加定位的精度，并加速處理時間[1]。GHT公知的缺點是其在較高維度問題和較大圖像情況下所具有的龐大計算復雜性和存儲器要求。因此，為了能夠將這個技術用于3-D圖像中的對象檢測，就必須充分減小其復雜性。
實現該目的的一個方式是限制表示目標對象的形狀模型點的數量。本發明提供了一種自動化過程，用于優化模型點的特定權重，其進而又可以用于從給定(初始)的點集中選擇最重要的模型點子集。另外，其說明了該技術如何可以用于從無到有地產生新對象的形狀模型。
在本發明的優選實施例中，使用已知的邊緣檢測技術，例如Sobel邊緣檢測，來產生邊緣圖像，并且GHT使用已知對象的形狀來將這個邊緣圖像變換為概率函數。在實踐中，這導致了模板對象的產生，即廣義形狀模型，并且將在未知圖像中檢測到的邊緣點與模板對象進行比較，由此能夠確認所檢測的對象的身份和位置。這是利用在未知圖像中的元素與模板對象中對應元素之間的匹配概率來實現的。優選地，這是通過以下實現的推薦一個參考點，例如模板對象中的質心，以便能夠利用與該質心相關的向量來表示邊界點。
在所檢測的圖像中，識別所關注的邊緣，例如可以借助于Sobel邊緣檢測，其能夠推導出梯度值和方向，以便更好的識別圖像中的對象邊界。然而，這也會引入噪聲和其它偽像，如果它們沒有被認為是目標對象的邊界的可能部分，則就需要抑制它們。
2.1概述 從目標圖像收集一組邊緣點，隨后在假定目標的質心在與模板中的質心相似的相對位置的情況下，必須嘗試定位目標質心的位置。然而，由于不知道在模型點與所檢測的邊緣點之間的對應關系，因此廣義Hough變換通過假設任何給定的所檢測的邊緣點會對應于模板上多個模型點中的任何一個，來嘗試確認質心，并且為每一種可能的情況做出相應數量的質心位置預測。當對所檢測的全部邊緣點都重復了該處理并且累積了全部預測值時，可以將結果表示為概率函數，其會(希望)在質心實際位置上具有最大值，這是因為這個位置會接收來自每一個正確檢測到的邊緣點的“投票”。當然，在許多情況下，在由圖像中不正確檢測到的點得到的其它區域中也會存在投票的累加，但利用相當準確的邊緣檢測過程，這就不會成為重大的問題。
然而，在通常的醫學圖像中會有大量所檢測的邊緣點，因此，如果每一個檢測得到的邊緣點都被認為是可能對應于模板中任何一個邊緣點，則該“投票”過程就會需要相當大的計算量。因此，GHT利用了這樣的事實即，每一個模型點還具有其它特性，例如相關的邊界方向。這意味著如果能夠將邊緣的梯度方向與每一個所檢測的邊緣點相關聯，則每一個所檢測的邊緣點就只能對應于大致具有相應邊界方向的較少數量的模型點。由此，且考慮到在檢測梯度方向時可能會出現相當重大的錯誤，只將其邊界方向位于一特定范圍內的邊緣點認為是可能與任何給定模型點相關聯。以這種方式，減小了對計算量的要求，并且還通過抑制被判斷為不相關的圖像部分，來改善結果的精度。
將投票權重分配給每一個模型點，并且根據相應的邊緣方向信息以及在所檢測的點上的灰度值來調整該投票權重。例如，這可以表示為灰度分布直方圖，因為可以由形狀模型的相應區域確定在指定區域中的預期直方圖。
因此，GHT采用了對象的形狀來將特征(例如邊緣)圖像變換為一組未知的對象變換參數構成的多維函數。該函數在參數空間上的最大值確定了用于將模型與圖像匹配的，即用于檢測該對象的最佳變換。在我們的架構中，GHT依賴于兩個基礎知識源 -形狀知識(見2.3節)，常常存儲為所謂的“R表” -與在對象表面上的灰度值和梯度分布相關的統計知識 GHT常常用于2-D圖像中的2-D或3-D對象檢測，已知GHT對于局部封閉(occlusion)、輕微變形和噪聲是魯棒的。然而，許多研究人員還指出，該技術的較高的計算復雜性和龐大的存儲器需求限制了其對于低維度問題的可用性。因此，當前，在使用剛性變換或甚至仿射變換的充分靈活性的情況下將GHT應用于在3-D圖像中的對象檢測看起來是行不通的。因此，GHT幾乎不用于3-D圖像中的對象檢測。
本發明設法提供一種方法，通過限制用于表示目標對象形狀的形狀模型點的集合，來限制GHT的較高復雜性。
為了根據特定模型點重要性而對特定模型點的貢獻進行最佳權重，以便用于基于GHT的分類，就希望將來自不同模型區域的信息或者甚至是點合并為單個決策函數。因此，提出了將表示多個模型點(組)的基本模型集合對數線性地(log-linearly)合并到最大熵族的概率分布中。針對預定的誤差函數，可以使用最小分類誤差訓練來優化基本模型權重。隨后可以通過使用擴展Hough模型來執行對未知數據的分類，該擴展Hough模型包含與模型點分組和基本模型權重相關的附加信息。除了提高分類性能之外，如果從形狀模型中移除具有較小權重的模型點(組)，就可以用這個技術來減小Hough變換的計算復雜性。
現在將參考附圖來說明本發明的一些實施例，其中

圖1A顯示了解剖對象的3-D網格模型； 圖1B是在未知個體中相應對象的示范性的檢測圖像； 圖2A是用于展示廣義Hough變換的原理的簡化模板對象，而圖2B是相應的未知圖像； 圖3A、3B、4A、4B、5A、5B、6A和6B示出了使用廣義Hough變換的形狀檢測處理的各個步驟； 圖7A示出了更復雜的2-D模板對象的實例； 圖7B示出了所檢測的點的相應的表格。
參考圖1A和1B，圖1A是人體的脊椎骨的3-D網格模型，其作為需要在醫學圖像中檢測的對象的典型實例，而圖1B是相應檢測圖像的典型實例，會意識到，該檢測原理實際上是從多個更簡單的模型的歸納出來的，這些更簡單的模型如同在隨后的圖2到6中所示。
圖2A示出了具有參考點4的簡單圓形“模板對象”2，參考點4是圓形2的中心，并且在實際實例中可以是更復雜形狀的質心。在圖2B中顯示了相應的“檢測圖像”。
檢測的各個階段包括識別在模板對象中的一系列邊緣點6、8、10，如圖3A所示；并且將它們相對于參考點4的位置存儲為例如包含向量值和相應邊緣方向信息的表格。
隨后識別在未知圖像中的一系列邊緣點12、14、16，如圖4B所示，并且如圖5所示的，要由廣義Hough變換解決的問題是確定在未知圖像和模板對象中的邊緣對之間的對應關系。如圖6所示，由廣義Hough變換提出的解決方案是考慮任何指定的所檢測的點(例如圖6B中的18)位于未知圖像邊緣上的可能性，從而產生由圖6B中虛線20所示出的圓形軌跡，用于得到未知圖像的真實“質心”。會意識到，當以這種方式考慮全部所檢測的邊緣點，且指定對于未知圖像的真實質心的相應“投票”時，該投票的最高累積實際上會在質心位置22上，全部的相應軌跡20都在此相交。
圖7示出了該原理對于復雜得多的模板對象的應用，如圖7A所示。在此情況下，會見到多個可檢測邊緣點位于不同區域中，但具有相似的梯度Ω，這說明了與圖3到6的簡單模板對象相比，檢測這種對象需要大得多的計算量。一種應付此類對象的方式是將所檢測的點按組存儲到所謂的“R表”中，如圖7B所示，其中，將所具體的梯度在不同規定范圍內的點存儲在與各個范圍相對應的各個單元中。
2.2檢測過程 GHT目的是為了將指定的形狀模型與其對應物相匹配而查找最佳變換參數，該指定的形狀模型位于例如目標圖像的原點上。為此，使用了形狀模型M＝{p1m，p2m，…pNmm}的一種幾何變換，其由以下定義 在此A表示線性變換矩陣，t表示轉換向量。根據 假設在特征圖像中的每一個邊緣點pie都由某個模型點pjm的變換產生。
以相反方式看，如果我們的目的是在給定相應的模型點pjm和變換矩陣A的情況下確定可能得到特定邊緣點pie的轉換參數t，我們推導出 讓我們暫時假設給定了矩陣A。那么，該等式就可以用于確定一對(Pj”，pf)的轉換參數t。由于給定邊緣點的相應模型點同樣是未知的，因此我們可以對在該點與全部可能的模型點之間的對應關系進行假設，并針對在累加陣列(所謂的Hough空間)中的所產生的全部轉換參數假定值進行投票。可以通過要求模型點表面法線方向“與邊緣方向相似”，來對給定邊緣點的對應模型點的集合進行限定。
通過對在特征圖像中的全部邊緣點如此操作，最佳轉換解的投票通常比其它情況累計得更多。因此，然后可以通過搜索Hough空間中具有最大計數的單元，來確定最佳變換參數。如果變換矩陣A是未知的，同樣必須對(經過量化的)矩陣參數的每一個可能的設定重復整個過程。在此情況下，在較高維度的Hough空間中進行投票，該較高維度的Hough空間對于每一個矩陣參數都具有附加的維度。
在對全部邊緣點完成了該投票過程之后，必須對Hough空間進行搜索以找到最佳解。通過合理地限制變換參數的量化粒度，可以使這個步驟的復雜性保持可管理性。然后，使用所確定的變換參數的“最佳”設定，將形狀模型變換到其在目標圖像中的最佳位置和比例，在此其可以用于進一步的處理步驟，如分割。
2.3.形狀模型的產生 GHT主要是基于形狀信息的，因此需要用于每一個所考慮對象的幾何模型。由于解剖對象通常具有非常特定的表面，因此在大多數情況下，預期表面形狀模型就足夠用于檢測。然而，也會提供與主要內部結構(例如心室)有關的附加信息，以便進一步支持對類似對象的判別。當前，廣義Hough變換的形狀模型產生需要大量用戶交互，并且每一次引入新形狀時都必須對其進行重復。當前的形狀獲取技術的另一個缺點是，所產生的形狀模型僅是很好地適用于單一訓練形狀，并未考慮任何形狀可變性。因此，提出了一種用于形狀模型產生的新技術，其基于對模型點特定權重的最小分類誤差訓練。該技術將必要的用戶交互減小到最小程度，僅要求在一小組訓練圖像中的形狀的位置，可任選的是，在一小組所關注的區域中的形狀的位置。除此之外，所產生的模型包含來自全部訓練形狀的形狀可變性。因此，與僅基于單一訓練形狀的形狀模型相比，它要魯棒得多。
為此，將對象檢測任務描述為分類任務(見下文)，在該分類任務中，將輸入特征(例如邊緣圖像)劃分到多個類中，所述多個類表示任意形狀模型變換參數(用于將形狀模型與目標圖像相匹配)。所使用的分類器(對數線性地)結合了一組基本知識源。這些知識源中的每一個都與特定的形狀模型點相關聯，并表示由該點引入到GHT中的知識。在最小分類誤差訓練中，對基本(依賴于模型點的)知識源的各個權重進行優化。在優化之后，這些權重表示某個特定形狀模型點對于分類任務的重要性，并且可以用于消除模型中的不重要的部分(比較2.3.2節) 2.3.1模型點權重的最小分類誤差訓練 本發明實施例的以下實例說明了使用廣義Hough變換將圖像特征觀測值xn(一個完整圖像或一組圖像的特征)劃分到一個類k∈{1，...，K}中的情況。類k可以表示對象位置，或者任意的變換參數。為了完成該分類任務，使用了一組M個后驗概率基本模型pj(k|xn)，j＝1，...，M。這些基本模型分布表示多個單個Hough模型點或多組點，并可以借助于相關投票頻率從與某些訓練體積數據有關的Hough空間投票結果推導出來 在此，N(j，k，xn)表示在觀測到特征xn的情況下，用于假設值k的、模型點(或區域)j的投票數量。可替換地，可以借助于多模式高斯混合來估計該概率分布。
在接下來的步驟中，將基本模型對數線性地合并到最大熵族的概率分布中[3]。這類分布確保了最大客觀性，并已經成功的用于各種領域中。
(5) 值Z(Λ，xn)是歸一化常數 可以將系數Λ＝(λ1，...，λM)T理解為在該模型組合內的模型j的權重。
與得到相同函數形式分布的公知的最大熵方案相反，該方案針對以下判別函數的分類誤差率對系數進行優化 在這個等式中，kn表示正確的假設值。由于在該組合內的基本模型j的權重λj依賴于其提供用于正確分類的信息的能力，因此這個技術實現了任何一組基本模型的最佳結合。在給定了具有正確類分配的一組訓練體積n＝1，...，H的情況下，可以為每一個體積產生特征序列xn。通過執行采用相等權重(即，)的初步分類，可以確定一組競爭類k≠kn。為了量化每一個競爭類k的分類誤差，必須選擇適當的距離量度Γ(kn，k)。當然，這個選擇強烈地依賴于類定義。例如，在解是簡單的2D或3D位置向量的平移分類問題的情況下，可以使用在正確點與其競爭者之間的歐幾里得距離。更簡單的想法是使用二進制距離度量，其對于正確的類是“1”，對于所有其它情況的是“0”。
隨后，所述模型合并參數應使得對于代表性訓練數據的分類誤差計數E(Λ)最小化， 以確保對于獨立測試組的最優性。由于這個優化標準是不可微的，因此其由經平滑的分類誤差計數來近似 在此，S(k，n，Λ)是經平滑的指標函數。如果分類器(見下文)選擇假設值k，則S(k，n，Λ)就應接近于1，如果分類器拒絕假設值k，其就應接近于0。具有這些特性的可能的指標函數是 在此，η是適合的常數。從相對于A[3]的最優化ES(Λ)，獲得迭代的梯度下降方案 這個迭代方案減小了有利于較差假設(即與正確假設之間的距離較大)的模型點或組的權重， (均勻分布) 同時增大了有利于優良假設的基本模型的權重。
采用一組經過優化的權重，用擴展Hough模型來執行對新(未知的)圖像的分類，所述擴展Hough模型包含與模型點位置、分組(即在模型點與基本模型之間的關聯)、以及基本模型權重(由最小分類誤差訓練獲得)有關的信息。該分類算法如下來進行 1.使用輸入特征x來應用GHT，以填充Hough空間累加器。
2.使用累加器信息(例如用等式(3))，為全部基本模型j和類k確定pj(k|x)。
3.使用從最小分類誤差訓練獲得的λj來計算每個類k的判別函數(7)。
決定具有最高判別函數的類。
因此，在本發明優選方法的操作中，在假設具有多個訓練值的情況下，用于形狀易變的模型的自動產生的算法如下進行 1.對全部訓練體積進行特征檢測(即Sobel邊緣檢測)； 2.對于每一個訓練體積要求用戶指明一個或多個對象位置； 3.使用兩個輸入參數(1)點的數量，(2)取決于到中心的距離的集中度下降，來產生模型點的球形隨機散布圖； 4.將該圖的中心移動到每一個指定的對象位置，僅保留在至少一個體積中與輪廓點重合的點。刪除在任何體積中沒有重合的點； 5.執行一個過程，用于為分類任務自動確定特定模型點(或模型點區域)的重要性； 6.移除不重要的模型點。
所產生的形狀易變模型及其模型權重可以直接用于例如基于廣義Hough變換的分類[1]。
在可替換的情形下，用戶在一個訓練體積中定義“所關注區域”。將該區域的多個特征(例如輪廓點)用作初始模型點組，選擇性的是，由表示噪聲疊加的額外模型點對該初始模型點組進行擴展。隨后，該組(經過擴展的)模型點代替該球形隨機散布圖，用于該有判別力的模型加權過程。
參考文獻
1.D.H.Ballard，″Generalizing the hough transform to detect arbitrary shapes，″Tech.Rep.2，1981.
2.P.Beyerlein，″Diskriminative Modellkombination in Spracherkennungssystemenmit gro″sem Wortschatz″，Dissertation，Lehrstuhl fur Informatik VI，RWTH Aachen，1999
3.P.V.C.Hough，″Method and means for recognizing complex patterns，″tech.rep.，1962.
4.R.0.Duda and P.E.Hart，″Use of the Hough transform to detect lines andcurves in pictures，″tech.rep.，1972.
權利要求
1、一種使用廣義Hough變換來檢測解剖對象的方法，包括以下步驟
a)產生模板對象；
b)識別在所述模板中的一系列邊緣點，并將它們的相對位置數據和附加識別信息存儲在表中；
c)對所述對象執行邊緣檢測處理，并存儲與在所述對象中的所檢測的點相對應的相對位置數據和附加識別信息；
d)將經修改的Hough變換用于所述所檢測的數據，以便識別所述對象的與所述模板中的邊緣相對應的所檢測的點，其中，根據在所述所檢測的數據的附加識別信息與為所述模板存儲的附加識別信息之間的預定的對應關系來修改每一個所檢測的點的投票權重，并且其中，還通過使用與模型點分組和基本模型權重有關的更多預定信息來精煉對所檢測的點的分類。
2、如權利要求1所述的方法，其中，通過將表示多組模型點的基本模型集合對數線性地合并到最大熵族的概率分布中，來得到所述模型點分組信息。
3、如權利要求1或2所述的方法，其中，使用針對預定誤差函數的最小分類誤差訓練，來優化所述基本模型權重。
4、一種用于對未識別的檢測圖像進行分類的方法，包括以下步驟
a)使用輸入特征x來應用廣義Hough變換，以填充Hough空間累加器；
b)使用采用了
的所述累加器的
信息，為全部基本模型j和類k確定pj(k|x)；
c)使用從最小分類誤差訓練獲得的λj來計算每個類k的判別函數；以及
d)選擇具有最高判別函數的類。
5、如權利要求1所述的方法，其中，所述附加識別信息包括在每一個點上的梯度值和/或在每一個點上的灰度值。
6、一種如先前任意一項權利要求所述的方法，其中，在各組附加識別信息之間的所述預定對應關系包括范圍關系，由此，如果與在所述模板中具有相應相對位置數據的邊緣點的所述附加識別信息相比，所述所檢測的點的所述附加識別信息在預定范圍之外，就修改所述投票權重。
7、一種如先前任意一項權利要求所述的方法，其中，每一個點的所述相對位置數據包括相對于所述模板中參考點的距離和方向數據。
8、一種如先前任意一項權利要求所述的方法，其中，將來自不同模型區域的信息合并到單個決策函數中，以便能夠使用擴展Hough模型執行對未知數據的分類，所述擴展Hough模型包含與模型點分組和基本模型權重相關的附加信息。
9、一種用于產生在自動3-D對象檢測中使用的形狀可變的模型的方法，包括以下步驟
a)對全部訓練體積進行特征檢測；
b)人工指明一個或多個對象位置；
c)使用以下輸入參數
i)點的數量
ii)取決于到中心的距離的集中度下降，
來產生隨機散布d)將所述圖的中心依次移動到每一個指定的對象位置，并且移除沒有在至少一個對象體積中重合的點；
e)為分類任務自動確定特定模型點或區域的重要性；以及
f)移除不重要的模型點。
全文摘要
本發明涉及用于在3-D圖像中自動檢測并分割解剖對象的系統。一種使用廣義Hough變換來檢測解剖對象的方法，包括步驟a)產生模板對象；b)識別在所述模板中的一系列邊緣點，并將它們的相對位置數據和附加識別信息存儲在表中；c)對所述對象執行邊緣檢測處理，并存儲與所述對象中的所檢測的點相對應的相對位置數據和附加識別信息；d)將經修改的Hough變換用于所述所檢測的數據，以便識別所述對象的與所述模板中的邊緣相對應的所檢測的點，其中，根據在所述所檢測的數據的附加識別信息與為所述模板存儲的附加識別信息之間的預定的對應關系來修改每一個所檢測的點的投票權重，并且其中，還通過使用與模型點分組和基本模型權重有關的更多預定信息來改善對所檢測的點的分類。
文檔編號G06T7/00GK101341513SQ200680047972
公開日2009年1月7日 申請日期2006年12月18日 優先權日2005年12月22日
發明者H·施拉姆 申請人:皇家飛利浦電子股份有限公司