圖像識別裝置、圖像傳感器、圖像識別方法
【專利摘要】一種圖像識別裝置具有：存儲部，針對多個模型圖像中分別存儲特征點；特征點提取部，從輸入圖像提取特征點；以及識別部，通過將所述輸入圖像的特征點與各模型圖像的特征點進行比較，算出所述輸入圖像與各模型圖像之間的第一類似度，基于該第一類似度識別所述輸入圖像。所述識別部針對輸入圖像的與作為所述第一類似度的算出對象的模型圖像的特征點一致的各個特征點，將該特征點對應的評分相加，算出所述第一類似度。所述多個模型圖像中的包含所述特征點的模型圖像的數(shù)量越少，與所述特征點對應的評分的值越大。
【專利說明】
圖像識別裝置、圖像傳感器、圖像識別方法
技術領域
[0001]本發(fā)明涉及基于圖像的特征點識別圖像的技術。
【背景技術】
[0002]在FA(Factory Automat1n:工廠自動化)領域中，為了測量和監(jiān)視在流水線上輸送的測量對象物(以下，還稱為“工件”)，廣泛使用稱為圖像傳感器(視覺傳感器)的傳感器設備。圖像傳感器由照相機和圖像處理裝置構成，具有如下功能，即，通過與預先存儲的標準物體(以下，還稱為“模型”或者“樣本”)之間的匹配處理，檢測圖像內的工件，進行需要的信息的提取和測量等工作。圖像傳感器的輸出例如用于工件的識別、檢查以及分類等各種用途。
[0003]可是，作為FA領域的最近的趨勢，增加了如下的生產(chǎn)方式，S卩，在一個流水線上混合輸送多種工件，按照種類不同適用不同的處理。例如，在混裝商品的裝箱流水線中，進行如下的作業(yè)，即，在傳送機上隨機輸送不同種類的工件，通過拾取機械手按照種類進行拾取，然后裝箱至正確位置。另外，在多品種少量生產(chǎn)的流水線上，在同一流水線上制造形狀、顏色、尺寸等規(guī)格稍微不同的系列商品，有時由于各個規(guī)格的不同，加工方法和檢查內容等也不同。
[0004]在這樣多種工件混合在一起的流水線(以下，稱為“混流流水線”)中，在根據(jù)工件的種類而實施不同的處理時，作為其前提，要求通過圖像傳感器正確判斷工件的種類。在利用模板匹配(template matching)的方式辨別工件的種類的情況下，預先將多種模型圖像存儲在圖像傳感器中，求出與工件圖像最吻合的模型圖像，來推斷工件的種類。
[0005]在此，說明利用形狀和顏色等非常近似的多種模型的圖像識別方式中的問題。在模板匹配方式中，根據(jù)模型圖像的特征點與輸入圖像的特征點的匹配程度，來算出類似度。如圖12所示，考慮利用圖像對6種骰子進行物體識別。在將“5”的圖像作為輸入圖像進行識別的情況下，如圖中所示，在各模型中算出的類似度在多個模型圖像中為100分(滿分)，識別結果受輸入圖像中的噪音等影響。如上那樣類似度無差異是因為，存在相互包含關系的模型圖像，或者存在共用部分多的模型圖像。即，在存在很多類似的模型圖像的情況下，很難通過以往的利用類似度的模板匹配方式正確地進行識別。
[0006]在專利文獻I中，提出如下方案，針對類似的模型圖像算出相互的相關值，存儲相關性低的特征點位置，僅利用這樣的特征點算出類似度。這樣，通過僅利用相關性低的特征點算出類似度的方式，即使存在類似的模型圖像的情況下，也能夠正確地識別。
[0007]但是，在專利文獻I的方式中，需要對類似的模型圖像彼此之間的所有組合進行相關運算，在類似的模型圖像多的情況下，組合數(shù)量增加(0(n2))，在處理時間以及存儲容量上存在問題。而且，在進行識別時，需要一級級地進行I對I的識別處理，對于該處理，在類似的模型數(shù)多的情況下，級數(shù)變多，處理時間增加(O(nlogn))。
[0008]現(xiàn)有技術文獻
[0009]專利文獻
[0010]專利文獻1:日本特開2009-116385號公報

【發(fā)明內容】

[0011]發(fā)明要解決的問題
[0012]本發(fā)明是鑒于上述情況而提出的，其目的在于提供一種即使在包括類似的模型圖像的情況下，也能夠低處理負荷且高精度地進行識別的圖像識別技術。
[0013]用于解決問題的手段
[0014]為了達到上述目的，在本發(fā)明中采用如下結構，S卩，針對各個特征點設定基于模型圖像中的顯著性的加權，算出考慮該加權的類似度。
[0015]具體地說，本發(fā)明的圖像識別裝置具有:存儲部，針對多個模型圖像分別存儲特征點:特征點提取部，從輸入圖像提取特征點:以及識別部，通過將所述輸入圖像的特征點與各模型圖像的特征點進行比較，算出所述輸入圖像與各模型圖像之間的第一類似度(以下，稱為加權類似度)，基于該第一類似度識別所述輸入圖像;所述識別部針對輸入圖像的與所述第一類似度的算出對象的模型圖像的特征點一致的各個特征點，將與該特征點對應的評分(以下，還稱為加權評分)相加，算出所述第一類似度，所述多個模型圖像中的包含該特征點的模型圖像的數(shù)量越少，與所述特征點對應的評分的值越大。
[0016]考慮到一致的模型圖像少的特征點在圖像識別中的顯著性高，與其它模型相比的識別性能高。另一方面，考慮到一致的模型多的特征點在圖像識別中的顯著性低。對識別不那么發(fā)揮作用。因此，本發(fā)明的圖像識別裝置，對于越是顯著性高的特征點，設定越高的加權評分，基于將該加權評分相加而得到的第一類似度，進行圖像識別。由此，即使在存在很多類似的模型圖像的情況下，也能夠高精度地進行識別。
[0017]在本發(fā)明中，可以將輸入圖像所含有的特征點作為對象，在進行圖像識別時求出加權評分，也可以將模型圖像所含有的特征點作為對象，在模型圖像存儲時預先求出加權評分。
[0018]在進行圖像識別時求出加權評分的情況下，可以針對輸入圖像的各個特征點，求出模型圖像的與該特征點一致的特征點的數(shù)量，按照該數(shù)量算出加權評分。在模型圖像存儲時求出加權評分的情況下，可以針對所有的模型圖像的特征點，求出模型圖像的與該特征點一致的數(shù)量，按照該數(shù)量預先算出加權評分。此外，只要是以模型圖像的一致數(shù)量越少則加權評分越大的方式算出加權評分即可，具體的算出方法可以為任意方式。例如，可以將與一致數(shù)量的倒數(shù)對應的值作為加權評分，還可以將與所有模型圖像數(shù)量和一致數(shù)之差對應的值作為加權評分。
[0019]另外，在本發(fā)明中，還優(yōu)選考慮通過與上述第一類似度不同的基準算出的類似度，來進行圖像識別。例如，還優(yōu)選所述識別部針對所述多個模型圖像分別算出與該模型圖像的特征點包含在所述輸入圖像的特征點中的比例對應的第二類似度(以下，還稱為單純類似度)，基于所述第一類似度以及所述第二類似度，確定與所述輸入圖像最吻合的模型圖像。
[0020]對于利用第一類似度和第二類似度的具體的識別方法能夠考慮到各種方法。例如，考慮將第一類似度與所述第二類似度的單純和或者加權和最大的模型圖像確定為是與所述輸入圖像最吻合的模型圖像。或者，還考慮將所述第二類似度大的模型圖像中的所述第一類似度最大的模型圖像確定為是與所述輸入圖像最吻合的模型圖像。此外，第二類似度大的模型圖像可以是第二類似度排位靠前的規(guī)定個數(shù)的模型圖像，也可以是具有從最大值起規(guī)定閾值以內的第二類似度的模型圖像。
[0021]這樣，通過基于第一類似度以及第二類似度進行識別的方法，即使在基于任意一方的類似度而不能夠正確進行識別的情況下，也能夠正確地進行識別。
[0022]此外，本發(fā)明能夠用于具有上述結構的至少一部分結構的圖像識別裝置或物體辨別裝置。另外，本發(fā)明能夠用于如下的圖像傳感器，該圖像傳感器具有拍攝物體的照相機，和物體辨別裝置或圖像處理裝置。另外，本發(fā)明能夠用于包括上述處理的至少一部分處理的圖像識別方法或物體辨別方法，或者，能夠用于使計算機執(zhí)行相關方法的程序或用于非暫時性存儲該程序的計算機能夠讀取的記錄介質。上述結構以及各個處理，只要不產(chǎn)生技術矛盾，能夠將它們相互組合構成本發(fā)明。
[0023]發(fā)明的效果
[0024]根據(jù)本發(fā)明，即使在包括類似的模型圖像的情況下，也能夠低處理負荷且高精度地進行識別。
【附圖說明】
[0025]圖1是表示圖像傳感器的整體結構的圖。
[0026]圖2是表示圖像傳感器的硬件結構的圖。
[0027]圖3是表示圖像識別裝置的與種類辨別相關的功能結構的圖。
[0028]圖4是表示種類辨別處理的流程的流程圖。
[0029]圖5中的(A)是表示取入的圖像的一個例子的圖，圖5中的(B)表示工件的檢測結果的一個例子的圖，圖5中的(C)表示種類辨別結果的一個例子的圖。
[0030]圖6是表示種類辨別處理的詳細流程的流程圖。
[0031 ]圖7是表示種類辨別處理的詳細流程的流程圖。
[0032]圖8是說明按照種類辨別處理中的各個特征點的加權評分的圖。
[0033]圖9是表示種類辨別處理的識別評分的算出例子的圖。
[0034]圖10是表示種類辨別處理的識別評分的算出例子的圖。
[0035]圖11是表示種類辨別處理的識別評分的算出例子的圖。
[0036]圖12是說明現(xiàn)有技術的問題的圖。
【具體實施方式】
[0037]本發(fā)明涉及如下的圖像識別技術，S卩，在被賦予輸入圖像時，通過模板匹配的方式，從預先存儲的多個存儲圖像(模型圖像)中提取與輸入圖像最吻合的圖像。該技術能夠適用于FA用的圖像傳感器、計算機視覺(computer vis1n)、機器視覺(machine vis1n)等中的物體辨別工作，和從圖像數(shù)據(jù)庫內的圖像群中檢測與查詢圖像類似的圖像的類似圖像檢索等。在以下所述的實施方式中，作為本發(fā)明的優(yōu)選的一個應用例子，說明將本發(fā)明安裝于在多種工件混合輸送的混流流水線上進行各工件的檢測以及種類辨別的FA用的圖像傳感器中的例子。
[0038](圖像傳感器)
[0039]參照圖1，說明本發(fā)明的實施方式的圖像傳感器的整體結構以及應用場景。
[0040]圖像傳感器I是如下系統(tǒng)，其設置在生產(chǎn)流水線等上，利用拍攝制造物體(工件2)所得到的輸入圖像對工件2進行種類辨別等。此外，在圖像傳感器I中，除了種類辨別之外，還能夠按照需要安裝邊緣檢測、損傷污染檢測、面積、長度和重心測量等各種圖像處理功會K。
[0041]如圖1所示，在傳送機3上混合輸送多種工件2。圖像傳感器I，通過照相機11定期或者在從PLC4送出觸發(fā)信號的時刻取入圖像，通過圖像處理裝置(圖像識別裝置)10對圖像中包含的各工件2進行檢測和種類辨別等處理，將其結果顯示在顯示器12上，或者向外部裝置(PLC4等)輸出。PLC(ProgrammabIe Logic Contro11er:可編程控制器)4是對圖像傳感器1、傳送機3、機械手等制造裝置(未圖示)進行控制的設備。
[0042](圖像傳感器的硬件結構)
[0043]參照圖2，說明圖像傳感器I的硬件結構。圖像傳感器I大致由照相機11和圖像處理裝置10構成。
[0044]照相機11是用于將工件2的圖像取入圖像處理裝置10的設備，例如優(yōu)選使用CMOS(Complementary Metal-Oxide-Semiconductor:互補式金屬氧化物半導體)照相機或CCD(Charge-Coupled Device:電荷親合元件)照相機。輸入圖像的格式(解析度、彩色或黑白、靜止圖像或動畫、灰度、數(shù)據(jù)格式等)為是任意的，可以按照工件2的種類和傳感檢測的目的適當選擇。在將可視光圖像以外的特殊的圖像(X射線圖像、熱紅外圖像等)用于檢查時，可以使用與該圖像相對應的照相機。
[0045]圖像處理裝置10包括CPU(中央運算處理裝置)110、作為存儲部的主存儲器112及硬盤114、照相機接口 116、輸入接口 118、顯示控制器120、PLC接口 122、通信接口 124以及數(shù)據(jù)讀寫器126。各部分經(jīng)由總線128以能夠相互進行數(shù)據(jù)通信的方式連接。
[0046]照相機接口116是對CPUllO與照相機11之間的數(shù)據(jù)傳送進行中轉的部分，具有用于暫時存儲來自照相機11的圖像數(shù)據(jù)的圖像緩沖存儲器116a。輸入接口 118對CPUl 10與輸入部(鼠標13、鍵盤、觸摸屏、微動控制器(jog control)等)之間的數(shù)據(jù)傳送進行中轉。顯示控制器120與液晶監(jiān)視器等顯示器12連接，對在該顯示器12上的顯示進行控制。PLC接口 122對CPUl 10與PLC4之間的數(shù)據(jù)傳送進行中轉。通信接口 124對CPUl 10與控制臺(或者個人計算機、服務器裝置)等之間的數(shù)據(jù)傳送進行中轉。數(shù)據(jù)讀寫器126對CPUllO與作為存儲介質的存儲卡14之間的數(shù)據(jù)傳送進行中轉。
[0047]圖像處理裝置10能夠由具有通用結構的計算機構成，CPUllO讀取存儲在硬盤114或者存儲卡14中的程序(指令碼)并進行執(zhí)行，由此提供各種功能。這樣的程序以存儲于存儲卡14或光盤等計算機可讀取的記錄介質中的狀態(tài)進行流通。
[0048]在將通用的個人計算機用作圖像處理裝置10時，除了用于提供本實施方式中所述的物體辨別功能的應用程序之外，還可以安裝用于提供計算機的基本功能的os(操作系統(tǒng))。此時，本實施方式的程序通過利用OS所提供的程序模塊，可以實現(xiàn)目的功能。此外，本實施方式的程序可以作為單個應用程序進行提供，也可以作為與其它程序的一部分結合的模塊進行提供。另外，其功能的一部分或者全部可以由專用的邏輯電路代替。
[0049](圖像處理裝置的功能結構)
[0050]圖3示出圖像處理裝置所提供的與種類辨別(物體辨別)相關的功能結構。圖像處理裝置10作為與種類辨別相關的功能，具有圖像輸入部130、檢測部131、特征點提取部132、識別部133、存儲部134和輸出部135。圖像處理裝置10的CPUllO執(zhí)行計算機程序，來實現(xiàn)這些功能塊。
[0051]在存儲部134中針對多個模型存儲有從模型的圖像提取的特征點(模型圖像特征點134a)。在本實施方式中，作為特征點采用在圖像中灰度值變化大的點或區(qū)域，例如，邊緣或角等。除此之外，作為特征點還可以采用基于顏色或形狀而形成的特征點。例如，能夠采用藍色、黃色、紅色作為特征點，或者采用直線的個數(shù)或圓的個數(shù)等作為特征點。另外，還能夠并用灰度值變化大的特征點和顏色的特征點。圖像處理裝置10能夠接收模型圖像，從接收的模型圖像提取模型圖像特征點134a?；蛘?，圖像處理裝置10可以接收由其它裝置提取的與模型圖像特征點相關的數(shù)據(jù)，將它們存儲在存儲部134中。
[0052](圖像處理裝置的動作)
[0053]圖像處理裝置10取入在傳送機3上輸送的工件2的圖像，進行工件2的檢測和種類辨別等處理。圖4是表示圖像處理裝置10所執(zhí)行的圖像識別處理的整個流程的流程圖。以下，按照圖4的流程圖說明圖像識別處理中的各功能塊的動作以及種類辨別處理的整個流程。
[0054]在從PLC4輸入觸發(fā)信號時，圖像輸入部130從照相機11取入圖像(步驟S100)。圖5中的(A)是取入的圖像的一個例子，示出在傳送機上混合存在有5種物體(例子:混裝巧克力)的狀態(tài)。
[0055]接著，檢測部131根據(jù)輸入圖像檢測各個工件2(步驟S101)。在檢測處理中可以使用任意算法。例如，能夠利用通過二值化去掉背景后，檢測比規(guī)定的面積大的區(qū)域(像素組)作為工件2的方法，或利用借助圖案匹配搜索類似工件的區(qū)域的方法等。此外，優(yōu)選檢測部131根據(jù)需要對輸入圖像進行平滑化和去除噪音等的前處理。圖5中的(B)是檢測結果的一個例子，以虛線矩形示出從圖像檢測出的各個工件的區(qū)域。
[0056]接著，特征點提取部132對檢測出的工件的圖像(以下，稱為工件圖像)進行解析，提取特征點(步驟S102)。特征點是在圖像中灰度值變化大的點或區(qū)域等，例如，能夠提取邊緣或角等作為特征點。
[0057]接著，識別部133將工件的特征點與存儲在存儲部134中的多個模型圖像的各個特征點進行比較，辨別工件的種類(步驟S103)。對在步驟SlOl中所檢測出的所有工件反復進行步驟S102以及S103的處理，由此能夠辨別各工件的種類。圖5中的(C)是辨別結果的一個例子，以I?5的數(shù)字示出各個工件的辨別結果(種類)。該辨別結果通過輸出部135輸出至顯示器12或者PLC4(步驟S104)。
[0058]圖6以及圖7表示步驟S103的處理的詳細內容。在該處理中，求出單純類似評分SI(第二類似度)和加權類似評分S2(第一類似度)，利用這2個類似評分對工件進行辨別，其中，單純類似評分SI(第二類似度)基于工件圖像的特征點與模型圖像的特征點之間的單純一致數(shù)量，加權類似評分S2(第一類似度)考慮與各個特征點的顯著性對應的加權評分。
[0059]首先，在步驟S201?S205的循環(huán)處理中，針對各模型圖像，判斷該模型圖像所包含的特征點有多少包含在工件圖像中，來算出單純類似評分SI。
[0060]識別部133的單純類似評分算出部133a，在開始處理新的模型圖像時，將表示特征點的一致數(shù)量的變量η初始化為0(步驟S201)。單純類似評分算出部133a，針對模型圖像內的各特征點，判斷在工件圖像中是否存在對應的特征點(步驟S202)，在存在的情況下，使一致數(shù)量η加1(步驟S203)。單純類似評分算出部133a針對所有的特征點反復進行上述的處理，算出在工件圖像中存在對應的特征點這樣的特征點的數(shù)量η與模型圖像內的所有特征點的數(shù)量N的比，來作為單純類似評分SI (S205)。
[0061]如圖9所示，作為例子考慮將6種骰子的圖像用作模型進行物體識別的情況。為了簡化說明，將骰子的點的各個黑圓作為特征點，作為圖像特征不考慮輪廓的正方形的情況。在此，“5”點的骰子為工件圖像。從該工件圖像提取5個特征點。
[0062]模型圖像“I”中存在I個特征點，模型圖像的全部特征點存在于工件圖像中，因此，模型圖像“I”的單純類似評分SI為“100”(將η/Ν的100倍作為100分滿分)。同樣，對于模型圖像“2”?“5”，單純類似評分SI為“100”。對于模型圖像“6”，6個特征點中的4個特征點存在于工件圖像中，因此單純類似評分SI為“67”。
[0063]在對照與上述各模型圖像的特征點對應的特征點是否存在于工件圖像中時，單純類似評分算出部133a存儲工件圖像中的各特征點是否包含在各模型圖像內這一對應關系(步驟S204)。參照圖8，具體進行說明。在“5”點的骰子為工件圖像時，從工件圖像提取5個特征點。如圖8的列300中黑圓所示，將各個特征點作為特征點I?5 (例如，特征點I為左上點(小圓點))。在將該工件圖像與“3”點的模型圖像進行對比時，與“5”點的特征點1、3、5對應的特征點也存在于模型圖像中。因此，如圖8所示，在步驟S204中，存儲工件圖像的特征點1、
3、5包含在模型圖像“3”中，特征點2、4不包含在模型圖像“3”的信息。此外，在圖8中，通過圓形標記表示存在對應的特征點，通過“X”標記表示不存在。針對所有的模型圖像存儲這樣的對應關系，在步驟S201?S205的循環(huán)處理結束的時刻，求出所有的圖8所示的工件圖像的特征點與模型圖像的特征點之間的對應關系301。
[0064]在步驟S201?S205的循環(huán)處理結束時，識別部133的加權類似評分算出部133b針對工件圖像的各個特征點算出與對應的模型圖像的數(shù)量相對應的加權評分(圖7中的步驟S206)。如圖8所示，加權類似評分算出部133b針對工件圖像的各特征點求出包括該特征點的模型圖像的個數(shù)302，算出與該個數(shù)302的倒數(shù)對應的加權評分303。例如，“5”點的模型圖像的特征點I包含在“2”、“3”、“4”、“5”、“6” 5個模型圖像中，因此作為特征點I的加權評分算出為“20( = 100/5)”。特征點2包含在“4”、“5”、“6”3個模型圖像中，因此特征點2的加權評分為“33( = 100/3)”。這樣，對工件圖像的所有的特征點算出加權評分302。此外，在此，將與對應的模型圖像數(shù)量的倒數(shù)相對應的值作為加權評分，但是，只要模型圖像數(shù)量越少加權評分為越大的值即可，確定方法可以為任意方法。特征點的加權評分可以由將包含該特征點的模型圖像數(shù)量作為變量的單調遞減函數(shù)確定。例如，能夠將基于所有模型圖像數(shù)量和包括特征點的模型圖像數(shù)量之差而確定的值(差值自身或差值與整體數(shù)量之比等)作為加權評分。在圖8的例子中，特征點I的加權評分可以為6-5 = 1，或(6-5)/6X100 = 16。
[0065]可以認為多個模型圖像共用的特征點的顯著性低，對圖像識別的貢獻小。相反，可以認為共用的模型圖像少的特征點的顯著性高，對圖像識別的貢獻大。因此，如上所述，越是被使用的模型圖像少的特征點，將加權評分設定的越大，由此能夠算出考慮了特征點的顯著性后的類似度。
[0066]接著，加權類似評分算出部133b利用上述的加權評分，算出工件圖像與各模型圖像之間的加權類似評分S2。具體地說，算出模型圖像中的特征點中的存在于工件圖像中的特征點的加權評分的和，來作為加權類似評分S2(S207)。如圖8所示，對于模型圖像“I”，僅特征點3—致，特征點3的加權評分為“33”，因此“33”為工件圖像(“5”點的骰子)與模型圖像“I”之間的加權類似評分S2。對于模型圖像“2”，特征點1、5—致，各自的加權評分為“20”，因此總和“40”為工件圖像與模型圖像“2”之間的加權類似評分S2。同樣，求出與所有的模型圖像之間的加權類似評分。
[0067]識別部133基于在步驟S205中求出的單純類似評分SI和在步驟S207中求出的加權類似評分S2，算出工件圖像與各模型圖像之間的類似度(識別評分)(S208)。在此，以最大值為100的方式使加權類似評分S2標準化，將標準化后的加權類似評分S2與單純類似評分SI的和作為識別評分。
[0068]圖9示出了工件圖像為骰子“5”時與各模型圖像之間的單純類似評分S1、加權類似評分S2以及識別評分。對于加權類似評分S2，無括號的數(shù)值表示標準化后的評分，在括號內示出步驟S207所求出的值。
[0069]識別部133將識別評分最高的模型圖像判斷為與工件圖像最吻合，來確定工件的種類(S209)。在圖9的例中，模型圖像“5”的識別評分最大，因此辨別工件圖像為模型圖像“5”(骰子的“5”點的圖像)。
[0070]將骰子的“I”?“4”以及“6”點作為輸入圖像時的單純類似評分、加權類似評分以及識別評分的算出結果分別示出在圖10中的(A)?(C)、圖11中的(A)?(B)中。如圖10中的(C)、圖11中的⑷、⑶所示，在“3”、“4”以及“6”點的骰子為輸入圖像的情況下，僅通過單純類似評分不能夠進行區(qū)別，不能夠正確地進行識別，但是利用考慮了加權類似評分的識別評分，能夠正確地進行識別。另外，“I”以及“2”點，雖然多個模型圖像的加權類似評分相同，但是由于單純類似評分之間的差大，所以能夠充分地進行識別。如本例子所示，雖然存在僅利用單純類似評分和加權類似評分的某一方不能夠識別的情況，但是通過將這些類似評分組合，能夠正確地進行識別。
[0071]通過以上的方法，即使在通過基于圖12所示的單純類似評分的模板匹配方法不能夠正確地進行識別的情況下，也能夠正確地進行識別。這是因為，如圖9、圖10中的(A)?(C)以及圖11中的(A)?(B)所示，最高的識別評分與第二高的識別評分之間的差足夠大。正確模型的單純類似評分以及加權類似評分雙方都為高值，正確模型以外的模型的單純類似評分和加權類似評分中的至少一方為低值。因此，正確模型與正確模型以外的模型的上述識別評分的差足夠大。這樣，由于正確模型和此外的模型的識別評分的差變大，所以即使在輸入圖像中存在噪音或變形也能夠正確地進行識別。
[0072]另外，在采用本方法時，在以往的模板匹配方法之外，僅存儲了模型圖像特征點與輸入圖像特征點之間的對應關系，算出基于該對應關系的加權評分，以及算出加權類似評分，因此處理負荷增加得不多。即使在包含很多類似的模型圖像的情況下，處理時間和存儲容量也不會如專利文獻I那樣爆發(fā)性增加，與以往的方法(僅算出單純類似評分的方法)幾乎不變。
[0073](變形例)
[0074]上述的實施方式的結構僅為示出本發(fā)明的一個具體例子的結構，不用于限定本發(fā)明的保護范圍。本發(fā)明在不脫離其技術思想的范圍內，能夠采用各種具體的結構。例如，在上述實施方式中，說明了將本發(fā)明用于物體辨別裝置的例子，但是，本發(fā)明的適用范圍不限于此，優(yōu)選用于類似圖像檢索裝置等。
[0075]在上述的實施方式的說明中，求出單純類似評分與加權類似評分的單純和，來作為識別評分，但是可以使用將這2個類似評分以規(guī)定的比例相加后的值(加權和)來作為識別評分。此時的加權的比例可以是預先設定的值，也可以是用戶設定的值。
[0076]另外，可以不求出識別評分，分別利用單純類似評分和加權類似評分對物體種類進行辨別。例如，首先，選擇規(guī)定個數(shù)的單純類似評分大的模型圖像，這些模型圖像中的加權類似評分最高的模型圖像判斷為與輸入圖像吻合。在此，單純類似評分大的規(guī)定個數(shù)的模型圖像，可以是單純類似評分的排位靠前的規(guī)定個數(shù)的模型圖像，也可以是具有從單純類似評分的最大值起規(guī)定閾值以內的單純類似評分的模型圖像。此時的閾值可以由評分的絕對值確定，也可以由與最大值的比例確定。
[0077]另外，在上述的實施方式的說明中，雖然基于單純類似評分和加權類似評分雙方進行辨別，但是可以僅基于加權類似評分進行辨別。如上所述，在僅利用加權類似評分的情況下，有時不能夠正確地進行辨別，但是，在輸入與單純類似評分差異不大的圖像的情況下，能夠正確地進行辨別。
[0078]另外，在上述的實施方式的說明中，在對照輸入圖像時，算出各個特征點的加權評分，但是可以在存儲模型圖像時算出加權評分。即，通過將各模型圖像作為輸入圖像進行與上述相同的加權評分算出處理，能夠求出各個特征點的加權評分。在進行圖像識別時，在輸入圖像的特征點與模型圖像的特征點一致的情況下，與上述相同地，將該特征點的加權評分相加，算出加權類似評分。即使這樣，也能夠得到與上述實施方式相同的效果。
[0079]另外，在上述的實施方式的說明中，示出了將二維圖像(平面圖像)作為對象進行圖像識別的例子，但是，本發(fā)明能夠適用于將附加了進深方向的信息的三維圖像(立體圖像)作為對象的圖像識別處理中。此時，模型圖像以及輸入圖像都使用立體照相機等帶有測距功能的拍攝裝置拍攝到的圖像，進行與上述相同的處理即可。另外，本發(fā)明的考慮特征點的顯著性而進行的識別處理不僅適用于靜止圖像，而且同樣能夠適用于動畫或聲音數(shù)據(jù)等的時序數(shù)據(jù)。
[0080]附圖標記的說明
[0081 ] 1:圖像傳感器，2:工件，3:傳送機，4: PLC
[0082]10:圖像處理裝置，11:照相機，12:顯示器
[0083]130:圖像輸入部，131:檢測部，132:特征點提取部，133:識別部，
[0084]134:存儲部，135:輸出部
【主權項】
1.一種圖像識別裝置，其特征在于， 具有: 存儲部，針對多個模型圖像分別存儲特征點， 特征點提取部，從輸入圖像提取特征點，以及 識別部，通過將所述輸入圖像的特征點與各模型圖像的特征點進行比較，算出所述輸入圖像與各模型圖像之間的第一類似度，基于該第一類似度識別所述輸入圖像； 所述識別部針對輸入圖像的與作為所述第一類似度的算出對象的模型圖像的特征點一致的各個特征點，將與該特征點對應的評分相加，算出所述第一類似度， 所述多個模型圖像中的包含所述特征點的模型圖像的數(shù)量越少，與所述特征點對應的評分的值越大。2.根據(jù)權利要求1所述的圖像識別裝置，其特征在于，所述識別部針對所述輸入圖像的各個特征點，求出與該特征點一致的模型圖像的數(shù)量，基于該數(shù)量算出與所述特征點對應的評分。3.根據(jù)權利要求1所述的圖像識別裝置，其特征在于，所述識別部針對所述多個模型圖像的各個特征點，求出與該特征點一致的模型圖像的數(shù)量，基于該數(shù)量預先算出與所述特征點對應的評分。4.根據(jù)權利要求1至3中任一項所述的圖像識別裝置，其特征在于，所述識別部針對所述多個模型圖像分別也算出與該模型圖像的特征點包含在所述輸入圖像的特征點中的比例對應的第二類似度，基于所述第一類似度以及所述第二類似度，確定與所述輸入圖像最吻合的模型圖像。5.根據(jù)權利要求4所述的圖像識別裝置，其特征在于，所述識別部將所述第一類似度與所述第二類似度的單純和或者加權和最大的模型圖像確定為與所述輸入圖像最吻合的模型圖像。6.根據(jù)權利要求4所述的圖像識別裝置，其特征在于，所述識別部將所述第二類似度大的模型圖像中的所述第一類似度最大的模型圖像確定為與所述輸入圖像最吻合的模型圖像。7.一種圖像傳感器，其特征在于， 具有: 照相機，用于拍攝物體；以及 權利要求1至6中任一項所述的圖像識別裝置，基于從所述照相機輸入的圖像辨別所述物體的種類，輸出辨別結果。8.一種對與輸入圖像吻合的模型圖像進行識別的圖像識別方法，其特征在于， 計算機執(zhí)行特征點提取步驟和識別步驟， 所述計算機具有存儲部，所述存儲部針對多個模型圖像分別存儲特征點， 在所述特征點提取步驟中，從輸入圖像提取特征點， 在所述識別步驟中，通過對所述輸入圖像的特征點與各模型圖像的特征點進行比較，算出所述輸入圖像與各模型圖像之間的第一類似度，基于該第一類似度識別所述輸入圖像， 在所述識別步驟中，針對輸入圖像的與作為所述第一類似度的算出對象的模型圖像的特征點一致的各特征點，將與該特征點對應的評分相加，算出所述第一類似度， 所述多個模型圖像中的包含該特征點的模型圖像的數(shù)量越少，與所述特征點對應的評分的值越大。9.一種程序，其特征在于，使計算機執(zhí)行權利要求8所述的圖像識別方法的各步驟。10.一種存儲介質，其特征在于，非臨時性存儲權利要求9所述的程序。
【文檔編號】G06T7/00GK106062820SQ201480076713
【公開日】2016年10月26日
【申請日】2014年3月14日
【發(fā)明人】小西嘉典
【申請人】歐姆龍株式會社