本發明涉及智能機器人領域，具體地說，涉及一種面向智能機器人的基于人臉識別樣本庫的交互方法和裝置。

背景技術：

現有技術中，人臉識別樣本庫的構建一般是通過人工輸入。比較典型的是，在安防領域中，通過人工錄入特定身份的人臉圖像，并將其與身份標記進行綁定。為了提高識別度，通常會針對一個身份標記綁定數張不同角度和方位的人臉圖像。因此，單次的有監督錄入是目前大部分人臉識別服務的運行邏輯。這些技術包括linkface、Face++和云從。然而，這些技術僅適合安防領域。針對智能機器人在家庭中與人的交互場景，由于智能機器人獲取到的用戶圖像是多種多樣的，人工輸入的用戶圖像不能滿足智能機器人的圖像識別需求，因此這種技術卻并不適合應用在用于在家庭中與用戶進行交互的智能機器人上。

因此，需要提供一種能夠適用家庭中交互用的智能機器人的人臉樣本采集方案。

技術實現要素：

本發明的目的在于提供一種面向智能機器人的基于人臉識別樣本庫的交互方法來解決上述技術問題。該方法包括以下步驟：

檢測獲取當前圖像；

如果所述當前圖像中存在人臉圖片，則提取其中的身份特征向量并將其與人臉識別樣本數據庫中所存儲的已綁定身份標記的身份特征向量進行比較；

基于比較的結果將提取的所述身份特征向量存儲到與身份標記綁定的聚類中，以填充人臉識別樣本數據庫；

當接收到該身份標記對應的用戶輸入的多模態交互數據時，結合所述身份標記生成多模態交互輸出數據并輸出。

根據本發明的面向智能機器人的基于人臉識別樣本庫的交互方法，優選的是，所述方法還包括以下步驟：

當提取的身份特征向量與數據庫中存儲的已綁定身份標記的身份特征向量比較的結果超過閾值范圍，則輸出當前身份特征向量不匹配的結果，并以多模態形式獲取該身份特征對應的身份標記信息；

將該身份標記信息與所述提取的身份特征進行綁定；

將綁定了身份標記信息的身份特征作為新的聚類填充到樣本數據庫中。

根據本發明的面向智能機器人的基于人臉識別樣本庫的交互方法，優選的是，所述方法還包括以下步驟：

當提取的身份特征向量與數據庫中存儲的已綁定姓名的身份特征向量比較的結果未超過閾值范圍，則輸出當前身份特征向量匹配的結果，并按照規則將當前人臉特征與最相似的人臉特征進行融合。

根據本發明的面向智能機器人的基于人臉識別樣本庫的交互方法，優選的是，所述方法還包括：

提取新輸入人臉圖片的身份特征向量之后，計算所述身份特征向量與所有原聚類的重心之間的余弦相似度；

尋找余弦相似度的最大值以及對應的聚類編號；

在所述余弦相似度的最大值大于設定閾值時，則將該提取的身份特征向量作為新的向量添加到其所屬的聚類中，重新計算聚類重心。

根據本發明的面向智能機器人的基于人臉識別樣本庫的交互方法，優選的是，在所述余弦相似度的最大值小于設定閾值時，針對該身份特征向量新建一個聚類，并分配相應編號。

面向智能機器人的基于人臉識別樣本庫的交互根據本發明的另一個方面，還提供了一種面向智能機器人的基于人臉識別樣本庫的交互裝置。該裝置包括以下單元：

檢測單元，其用以檢測獲取當前圖像；

比較單元，其用以判斷如果所述當前圖像中存在人臉圖片，則提取其中的身份特征向量并將其與人臉識別樣本數據庫中所存儲的已綁定身份標記的身份特征向量進行比較；

填充單元，其用以基于比較的結果將提取的所述身份特征向量存儲到與身份標記綁定的聚類中，以填充人臉識別樣本數據庫；

多模態交互單元，其用以當接收到該身份標記對應的用戶輸入的多模態交互數據時，結合所述身份標記生成多模態交互輸出數據并輸出。

根據本發明的面向智能機器人的基于人臉識別樣本庫的交互裝置，優選的是，所述裝置還包括以下單元：

不匹配輸出單元，其用以當提取的身份特征向量與數據庫中存儲的已綁定身份標記的身份特征向量比較的結果超過閾值范圍，則輸出當前身份特征向量不匹配的結果，并以多模態形式獲取該身份特征對應的身份標記信息；

綁定單元，其用以將該身份標記信息與所述提取的身份特征進行綁定；

新聚類填充單元，其用以將綁定了身份標記信息的身份特征作為新的聚類填充到樣本數據庫中。

根據本發明的面向智能機器人的基于人臉識別樣本庫的交互裝置，優選的是，所述裝置還包括以下單元：

匹配輸出融合單元，其用以當提取的身份特征向量與數據庫中存儲的已綁定姓名的身份特征向量比較的結果未超過閾值范圍，則輸出當前身份特征向量匹配的結果，并按照規則將當前人臉特征與最相似的人臉特征進行融合。

根據本發明的面向智能機器人的基于人臉識別樣本庫的交互裝置，優選的是，所述裝置還包括：

用以提取新輸入人臉圖片的身份特征向量之后，計算所述身份特征向量與所有原聚類的重心之間的余弦相似度的單元；

用以尋找余弦相似度的最大值以及對應的聚類編號的單元；

用以在所述余弦相似度的最大值大于設定閾值時，則將該提取的身份特征向量作為新的向量添加到其所屬的聚類中，重新計算聚類重心的單元。

根據本發明的面向智能機器人的基于人臉識別樣本庫的交互裝置，優選的是，所述交互裝置還包括：

用以在所述余弦相似度的最大值小于設定閾值時，針對該身份特征向量新建一個聚類，并分配相應編號的單元。

面向智能機器人的基于人臉識別樣本庫的交互的有利之處在于，通過智能機器人在無監督的情況下自動收集身份特征信息來建立人臉識別的樣本庫，對于家庭交互這一交互場景下，智能機器人采集到的用戶圖像存在各種各樣的角度這一情況，智能機器人可以自動收錄人員信息，增加人臉樣本庫的樣本數量，提高人物識別度，從而在多模態交互過程中滿足用戶要求。

本發明的其它特征和優點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發明而了解。本發明的目的和其他優點可通過在說明書、權利要求書以及附圖中所特別指出的結構來實現和獲得。

附圖說明

附圖用來提供對本發明的進一步理解，并且構成說明書的一部分，與本發明的實施例共同用于解釋本發明，并不構成對本發明的限制。在附圖中：

圖1顯示了根據本發明的實施例的智能機器人利用無監督自動構建的人臉樣本庫進行交互的方法的流程圖；

圖2顯示了根據本發明的實施例如何無監督自動構建人臉樣本庫的一個詳細流程圖；

圖3顯示了根據本發明的實施例的利用無監督自動構建的人臉樣本庫進行交互的裝置的結構框圖，以及

圖4顯示了根據本發明的實施例進行人臉樣本庫構建后的特殊樣本示意圖。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚，以下結合附圖對本發明實施例作進一步地詳細說明。

為使本發明的目的、技術方案和優點更加清楚，以下結合附圖對本發明實施例作進一步地詳細說明。以下例子中，將以人臉為目標物體來進行本發明原理的說明。本領域的技術人員應該知曉，該實施例僅為說明目的，不用作對本發明的限制。

現有技術中，家用智能機器人身份識別場景與安防用的身份識別的場景不同。家用智能機器人進行身份識別時的環境信息存在眾多干擾因素、圖片質量極差。此外，家用智能機器人接觸的人數有限，一般為3到5個，最多也不會超過50個，且身份對應的樣本數量呈指數分布而非均勻分布。更重要的是，安防領域用的身份識別需要在關鍵特征上精確識別，人物在環境中一般是靜態的，所獲取的圖片質量均勻，精確識別算法可以統一。而家用智能機器人考慮到識別環境中的人物圖片是動態的，例如瞬間面部表情、陰影以及誤檢的情況，識別算法需要考慮眾多的容錯因素。

為此，本發明提出一種針對家用機器人的新的構建人臉樣本庫的方法，以及智能機器人利用所構建的樣本庫進行智能交互的方法，以能夠使得在不影響用戶體驗的前提下反復錄入圖片，從而增加機器人對人物的識別率。

如圖1所示，其中顯示了根據本發明的實施例的智能機器人利用無監督自動構建的人臉樣本庫進行交互的方法的流程圖。在圖1中，方法開始于步驟S101。在該步驟中，智能機器人首先會檢測獲取當前圖像。當家用智能機器人在室內環境中時，開啟后，會自動檢測當前場景下的各角度圖片。或者該機器人到了新的場景時，也會自動檢測當前場景下的各角度圖片，以了解所處環境信息。在本發明中，首要做的是進行人物識別。人物的身份特征主要體現在人臉上，因此根據本發明優選進行人臉識別。

智能機器人不斷地進行圖片中的人臉特征檢測。之后，對檢測到人臉的圖片進行人臉身份特征提取。也就是說，在步驟S102中，判斷如果對當前圖像的檢測結果是存在人臉圖片，則提取其中的身份特征向量并將其與人臉識別樣本數據庫中所存儲的已綁定身份標記的身份特征向量進行比較。

隨后，在步驟S103中，系統基于比較的結果將提取的身份特征向量存儲到與身份標記綁定的聚類中，以填充人臉識別樣本數據庫。

最后，在步驟S104中，當接收到該身份標記對應的用戶輸入的多模態交互數據時，結合身份標記/身份標簽生成多模態交互輸出數據并輸出。

在步驟S102中，如果未找到足夠相似的人臉特征，則機器人認為見到的是陌生人，通過交互模塊發出詢問，以獲取對方姓名這樣的身份標記。在本發明中，身份標記是記錄人臉身份的字符串，它們可以是身份編號或者姓名。

如果對方回復姓名則將姓名作為身份標記與身份特征綁定。如果找到了足夠相似的人臉特征，則按照一定規則將當前人臉特征與最相似的人臉特征融合，并獲取該人臉對應的身份信息。

在人臉識別技術領域中，使用最多的技術是卷積神經網絡。作為人臉編碼器的一種，卷積神經網絡的輸入為人臉圖片，輸出為用D維特征向量代表的識別結果。D維向量是由D個小數組成的數組，D是一個整數，如128。在本例中，每個這樣的數組代表一個人臉身份特征。將人臉身份信息編碼到D維向量中，就構成了人臉身份特征向量。

這樣便可以通過余弦相似度來比較兩個向量相似程度，從而方便地比較出兩個人臉身份特征向量是否指示同一個身份識別結果。本發明提出人臉聚類概念。在本發明中，一個聚類是許多人臉身份特征的集合。聚類可與一個身份標記(如姓名)綁定，也可以不綁定。在生成每個聚類時，向其分配一個編號，互不重復，作為聚類的唯一標識。聚類中的一個人臉身份特征在此可稱為樣本。將身份與聚類進行綁定事實上就是對指定編號的聚類的身份標記進行更新的過程。

聚類有其重心，也用一個D維數組表示。根據本發明，聚類重心為聚類中所有人臉身份特征的歐幾里得均值。

如圖2所示，其中顯示了另一個根據本發明的面向智能機器人的基于人臉識別樣本庫的交互方法的優選實施例。在圖2中，首先將身份特征向量與已綁定身份標記的身份特征向量進行比較，步驟S201。

接下來，在步驟S202中，構建人臉識別樣本庫時，當提取的身份特征向量與數據庫中存儲的已綁定身份標記的身份特征向量比較的結果均超過閾值范圍，則輸出當前身份特征向量不匹配的結果，并以多模態形式獲取該身份特征對應的身份標記信息，步驟S203。

接下來，在步驟S204中，將該身份標記信息與所提取的身份特征進行綁定。

最后，在步驟S205中，將綁定了身份標記信息的身份特征作為新的聚類填充到樣本數據庫中。這樣，樣本數據庫便有了新的聚類。新的聚類事實上代表的就是要進行交互的新的對象。

在其他實施例中，根據本發明的面向智能機器人的基于人臉識別樣本庫的交互方法，優選的是，所述方法還包括以下步驟：

當提取的身份特征向量與數據庫中存儲的已綁定姓名的身份特征向量比較的結果未超過閾值范圍，則輸出當前身份特征向量匹配的結果，并按照規則將當前人臉特征與最相似的人臉特征進行融合。

根據本發明的面向智能機器人的基于人臉識別樣本庫的交互方法，優選的是，所述方法還包括：

在提取新輸入人臉圖片的身份特征向量之后，計算身份特征向量與所有原聚類的重心之間的余弦相似度。

接下來，采用例如最近鄰分類算法，Nearest Neighbour Classification:https://en.wikipedia.org/wiki/Nearest_neighbour_algorithm來尋找余弦相似度的最大值以及對應的聚類編號。

當余弦相似度的最大值大于設定閾值時，則將該提取的身份特征向量作為新的向量添加到其所屬的聚類中，重新計算聚類重心。理想狀態下，相同身份的不同人臉，其人臉身份特征向量的余弦相似度大于一閾值H，本實施例中H＝0.8。在所述余弦相似度的最大值小于設定閾值時，針對該身份特征向量新建一個聚類，并分配相應編號。這樣便使得智能機器人能夠記住所有見過的人臉，并自動歸類。

在其他實施例中，根據本發明的面向智能機器人的基于人臉識別樣本庫的交互方法，優選的是，在每個聚類內的身份特征向量的樣本記錄大于某一設定值例如50時，在此聚類內隨機抽取部分樣本記錄進行刪除。此操作能夠在節約存儲資源的前提下保留類內樣本的分布信息。

在聚類的總數量大于某一設定值如200時，按比例刪除其中包含身份特征向量的樣本記錄少的那些聚類。此操作能排除人臉錄入時的干擾因素，比如遮擋、動態模糊、夸張表情、誤檢等因素。

由于本發明的方法描述的是在計算機系統中實現的。該計算機系統例如可以設置在機器人的控制核心處理器中。例如，本文所述的方法可以實現為能以控制邏輯來執行的軟件，其由機器人控制系統中的CPU來執行。本文所述的功能可以實現為存儲在非暫時性有形計算機可讀介質中的程序指令集合。當以這種方式實現時，該計算機程序包括一組指令，當該組指令由計算機運行時其促使計算機執行能實施上述功能的方法。可編程邏輯可以暫時或永久地安裝在非暫時性有形計算機可讀介質中，例如只讀存儲器芯片、計算機存儲器、磁盤或其他存儲介質。除了以軟件來實現之外，本文所述的邏輯可利用分立部件、集成電路、與可編程邏輯設備(諸如，現場可編程門陣列(FPGA)或微處理器)結合使用的可編程邏輯，或者包括它們任意組合的任何其他設備來體現。所有此類實施例旨在落入本發明的范圍之內。

因此，根據本發明的另一個方面，還提供了一種面向智能機器人的基于人臉識別樣本庫的交互裝置300。該裝置300包括以下單元：

檢測單元301，其用以檢測獲取當前圖像；

比較單元302，其用以判斷如果所述當前圖像中存在人臉圖片，則提取其中的身份特征向量并將其與人臉識別樣本數據庫中所存儲的已綁定身份標記的身份特征向量進行比較；

填充單元303，其用以基于比較的結果將提取的所述身份特征向量存儲到與身份標記綁定的聚類中，以填充人臉識別樣本數據庫；

多模態交互單元304，其用以當接收到該身份標記對應的用戶輸入的多模態交互數據時，結合所述身份標記生成多模態交互輸出數據并輸出。

根據本發明的面向智能機器人的基于人臉識別樣本庫的交互裝置300，優選的是，其還包括以下單元：

不匹配輸出單元，其用以當提取的身份特征向量與數據庫中存儲的已綁定身份標記的身份特征向量比較的結果超過閾值范圍，則輸出當前身份特征向量不匹配的結果，并以多模態形式獲取該身份特征對應的身份標記信息；

綁定單元，其用以將該身份標記信息與所述提取的身份特征進行綁定；

新聚類填充單元，其用以將綁定了身份標記信息的身份特征作為新的聚類填充到樣本數據庫中。

在另一個實施例中，根據本發明的面向智能機器人的基于人臉識別樣本庫的交互裝置300，優選的是，其還包括以下單元：

匹配輸出融合單元，其用以當提取的身份特征向量與數據庫中存儲的已綁定姓名的身份特征向量比較的結果未超過閾值范圍，則輸出當前身份特征向量匹配的結果，并按照規則將當前人臉特征與最相似的人臉特征進行融合。

根據本發明的面向智能機器人的基于人臉識別樣本庫的交互裝置，優選的是，其還包括：

用以提取新輸入人臉圖片的身份特征向量之后，計算所述身份特征向量與所有原聚類的重心之間的余弦相似度的單元；

用以尋找余弦相似度的最大值以及對應的聚類編號的單元；

用以在所述余弦相似度的最大值大于設定閾值時，則將該提取的身份特征向量作為新的向量添加到其所屬的聚類中，重新計算聚類重心的單元。

根據本發明的面向智能機器人的基于人臉識別樣本庫的交互裝置，優選的是，其還包括：

用以在所述余弦相似度的最大值小于設定閾值時，針對該身份特征向量新建一個聚類，并分配相應編號的單元。

在其他實施例中，根據本發明的面向智能機器人的基于人臉識別樣本庫的交互裝置300，優選的是，其還包括：

用以在每個聚類內的身份特征向量的樣本記錄大于某一設定值時，在此聚類內隨機抽取部分樣本記錄進行刪除的單元；以及

用以在聚類的總數量大于某一設定值時，按比例刪除其中包含身份特征向量的樣本記錄少的那些聚類的單元。

本發明通過智能機器人在無監督的情況下自動收集身份特征信息來建立人臉識別的樣本庫，對于交互環境特別復雜的情況，可以自動收錄人員信息，提高人物識別度，從而在多模態交互過程中滿足用戶要求。

如圖4所示，其中顯示了根據本發明原理構建人臉身份特征樣本庫的特殊樣本類型。其中包括了7類特殊樣本，分別為誤檢類、遮擋類、瞬間動態眨眼類、動態模糊類、不規則陰影類、人臉角度類等。它們在樣本庫中所占的比例都很少，一般在5％左右，因此對用戶的交互不會產生大的影響。

應該理解的是，本發明所公開的實施例不限于這里所公開的特定結構、處理步驟或材料，而應當延伸到相關領域的普通技術人員所理解的這些特征的等同替代。還應當理解的是，在此使用的術語僅用于描述特定實施例的目的，而并不意味著限制。

說明書中提到的“一個實施例”或“實施例”意指結合實施例描述的特定特征、結構或特性包括在本發明的至少一個實施例中。因此，說明書通篇各個地方出現的短語“一個實施例”或“實施例”并不一定均指同一個實施例。

雖然本發明所公開的實施方式如上，但所述的內容只是為了便于理解本發明而采用的實施方式，并非用以限定本發明。任何本發明所屬技術領域內的技術人員，在不脫離本發明所公開的精神和范圍的前提下，可以在實施的形式上及細節上作任何的修改與變化，但本發明的專利保護范圍，仍須以所附的權利要求書所界定的范圍為準。