一種人臉姿態校正方法及裝置與流程
本發明涉及圖像處理領域，尤其涉及一種人臉姿態校正方法及裝置。
背景技術：
人臉識別是模式識別研究領域的重要課題，也是一個目前非常活躍的研究方向。它在安全、商貿和經濟領域都有廣闊的應用前景，例如刑偵破案、證件驗證、視頻監控、媒體娛樂等諸多領域。
利用三維人臉數據對人臉圖像進行校正，能夠獲得較好的校正效果，目前存在以下幾種方法：
1、基于雙目攝像頭或深度攝像頭獲取的圖像來進行人臉校正，或者對多幅多視角人臉圖像、甚至正交人臉圖像來進行人臉校正，但該方法成本較高，很難推廣。
2、一種基于自適應形變模型的任意視角人臉三維重構方法，利用人臉特征點定位結果粗略估計人臉角度；建立人臉三維形變模型，并將人臉特征點通過平移、縮放操作調整到與人臉三維形變模型在同一尺度上，并抽取出與人臉特征點對應點的坐標信息形成人臉特征點三維形變模型；根據人臉角度粗略估計值和人臉特征點三維形變模型，進行微粒群算法迭代人臉三維重構，得到人臉三維幾何模型；得到人臉三維幾何模型后，采用紋理張貼的方法將輸入二維圖像中的人臉紋理信息映射到人臉三維幾何模型，得到完整的人臉三維模型。然而，該方法估計投影矩陣的精度不高，且沒有對多姿態人臉是否遮擋的判斷以及相應地處理。
3、一種三維人臉重建方法：確定人臉圖像上的特征點；依據特征點確定人臉的姿態參數，并按照姿態參數調整通用三維人臉模型的姿態；確定特征點在通用三維人臉模型上的對應點，并對處于遮擋狀態下的對應點進行調整，以得到初步三維人臉模型；對初步三維人臉模型進行變形調整，并對變形后的三維人臉模型進行紋理映射，得到最終的三維人臉。然而，在該方法中，特征點包含外部人臉輪廓，但是外部人臉輪廓在側臉的是情況下會發生遮擋，導致姿態估計的錯誤。
4、一種基于先驗模型的正面人臉圖像合成方法：對三維原型樣本庫進行樣本規范化得到三維人臉樣本庫，標定測試人臉圖像的特征點；求取平均三維人臉模型，通過其上的特征點投影后與測試人臉圖像標定的特征點建立對應關系求得測試人臉圖像的姿態角度；從三維人臉樣本庫中篩選出與測試人臉圖像相似性較大的圖像構建原型樣本庫；合成正面人臉圖像。然而，在該方法中，建立三維人臉模型的時候將形狀模型和紋理模型分開建模，在合成正面人臉時，利用先驗模型，用三維人臉原型樣本庫中人臉估計，樣本會趨于平均，尤其是紋理方面忽略了光照陰影等因素。
因此，對人臉進行校正的效果還有待提高。
技術實現要素：
本發明實施例提供了一種人臉姿態校正方法及裝置，用以實現對人臉圖像進行校正。
本發明實施例提供的人臉姿態校正方法，包括：
獲取人臉圖像，以及所述人臉圖像對應的3D人臉數據；
確定在所述3D人臉數據中與所述人臉圖像中的像素點對應的點；
根據所述3D人臉數據中與所述人臉圖像中像素點對應的點的法線方向，獲得所述人臉圖像的法線方向掩膜圖像；
根據所述掩膜圖像確定所述人臉圖像中人臉的對稱權重；
根據所述對稱權重，對所述人臉圖像中的人臉姿態進行校正。
可選地，所述根據所述掩膜圖像確定所述人臉圖像中人臉的對稱權重，包括：
對所述掩膜圖像進行二值化；
將所述二值化后的圖像沿中心線對稱地分為第一子圖像和第二子圖像，分別計算所述第一子圖像和所述第二子圖像的像素值之和；
根據所述第一子圖像和所述第二子圖像的像素值之和的差值，確定所述人臉圖像的第一子圖像的第一權重和第二子圖像的第二權重。
可選地，所述根據所述對稱權重，對所述人臉圖像進行校正，包括：
對所述掩膜圖像進行高斯核模糊處理，獲得高斯圖像；
根據所述對稱權重、所述掩膜圖像、所述高斯圖像確定第一系數，根據所述對稱權重、所述掩膜圖像、所述高斯圖像經過左右翻轉后的圖像確定第二系數；
將所述人臉圖像的像素矩陣與所述高斯圖像的像素矩陣進行點乘，得到第一像素矩陣；
將所述人臉圖像的像素矩陣與所述第一系數進行點乘，得到第二像素矩陣；
將所述人臉圖像進行左右翻轉，將翻轉后的圖像的像素矩陣與所述第二系數進行點乘，得到第三像素矩陣；
將所述第一像素矩陣、第二像素矩陣、第三像素矩陣相加，得到校正后的人臉圖像的像素矩陣。
可選地，所述根據所述對稱權重、所述掩膜圖像、所述高斯圖像確定第一系數，根據所述對稱權重、所述掩膜圖像、所述高斯圖像經過左右翻轉后的圖像確定第二系數，包括：
根據下述公式確定第一系數、第二系數：
a＝Worg·*Wlr(1)
b＝Wsym·*Wlr(2)
Worg＝Wgauss·*W0org
Wsym＝Wgauss′·*W0org
W0org＝1/exp(0.5+Imask)
W0sym＝1-W0org
其中，a表示第一系數，b表示第二系數，Wlr(1)和Wlr(2)分別表示第一權重和第二權重，Wgauss表示高斯圖像的像素矩陣，Imask表示掩膜圖像的像素矩陣，Wgauss′表示經過左右翻轉后的高斯圖像的像素矩陣。
可選地，在獲取人臉圖像，以及所述人臉圖像對應的3D人臉數據之后，還包括：
確定所述人臉圖像中的特征點；
在所述特征點之間進行插值，得到預設數量的特征點；
根據所述特征點在所述圖像中的二維坐標，對所述預設數量的特征點進行2D到3D的映射，確定在3D人臉數據中與所述具有預設數量的特征點對應的點；
對所述3D人臉數據中的所述對應點進行N次三角剖分，N為大于等于1的整數；
所述確定在所述3D人臉數據中與所述人臉圖像中的像素點對應的點，包括：
確定在建立所述人臉圖像中的點與所述經過三角剖分后的3D人臉數據中的點的對應關系。
可選地，所述確定在所述3D人臉數據中與所述人臉圖像中的像素點對應的點，包括：
確定所述人臉圖像中的特征點；
根據所述特征點在所述圖像中的二維坐標，對所述特征點進行2D到3D的映射，得到3D人臉特征點；
根據所述3D人臉特征點和3D人臉特征點模型估計投影矩陣；所述3D人臉特征點模型是預先根據多個人臉圖像的3D人臉特征點得到的；
根據所述投影矩陣，確定在所述3D人臉數據中與所述人臉圖像中的像素點對應的點。
本發明實施例提供的人臉姿態校正裝置，包括：
獲取模塊，用于獲取人臉圖像，以及所述人臉圖像對應的3D人臉數據；
第一確定模塊，用于確定在所述3D人臉數據中與所述人臉圖像中的像素點對應的點；
獲得掩膜圖像模塊，用于根據所述3D人臉數據中與所述人臉圖像中像素點對應的點的法線方向，獲得所述人臉圖像的法線方向掩膜圖像；
第二確定模塊，用于根據所述掩膜圖像確定所述人臉圖像中人臉的對稱權重；
校正模塊，用于根據所述對稱權重，對所述人臉圖像中的人臉姿態進行校正。
可選地，所述第二確定模塊，具體用于：
對所述掩膜圖像進行二值化；
將所述二值化后的圖像沿中心線對稱地分為第一子圖像和第二子圖像，分別計算所述第一子圖像和所述第二子圖像的像素值之和；
根據所述第一子圖像和所述第二子圖像的像素值之和的差值，確定所述人臉圖像的第一子圖像的第一權重和第二子圖像的第二權重。
可選地，所述校正模塊，具體用于：
對所述掩膜圖像進行高斯核模糊處理，獲得高斯圖像；
根據所述對稱權重、所述掩膜圖像、所述高斯圖像確定第一系數，根據所述對稱權重、所述掩膜圖像、所述高斯圖像經過左右翻轉后的圖像確定第二系數；
將所述人臉圖像的像素矩陣與所述高斯圖像的像素矩陣進行點乘，得到第一像素矩陣；
將所述人臉圖像的像素矩陣與所述第一系數進行點乘，得到第二像素矩陣；
將所述人臉圖像進行左右翻轉，將翻轉后的圖像的像素矩陣與所述第二系數進行點乘，得到第三像素矩陣；
將所述第一像素矩陣、第二像素矩陣、第三像素矩陣相加，得到校正后的人臉圖像的像素矩陣。
可選地，所述校正模塊，具體用于：
根據下述公式確定第一系數、第二系數：
a＝Worg·*Wlr(1)
b＝Wsym·*Wlr(2)
Worg＝Wgauss·*W0org
Wsym＝Wgauss′·*W0org
W0org＝1/exp(0.5+Imask)
W0sym＝1-W0org
其中，a表示第一系數，b表示第二系數，Wlr(1)和Wlr(2)分別表示第一權重和第二權重，Wgauss表示高斯圖像的像素矩陣，Imask表示掩膜圖像的像素矩陣，Wgauss′表示經過左右翻轉后的高斯圖像的像素矩陣。
可選地，該裝置還包括：
3D人臉數據處理模塊，用于確定所述人臉圖像中的特征點；在所述特征點之間進行插值，得到預設數量的特征點；根據所述特征點在所述圖像中的二維坐標，對所述預設數量的特征點進行2D到3D的映射，確定在3D人臉數據中與所述具有預設數量的特征點對應的點；對所述3D人臉數據中的所述對應點進行N次三角剖分，N為大于等于1的整數；
所述第一確定模塊，具體用于確定在建立所述人臉圖像中的點與所述經過三角剖分后的3D人臉數據中的點的對應關系。
可選地，第一確定模塊，具體用于：
確定所述人臉圖像中的特征點；
根據所述特征點在所述圖像中的二維坐標，對所述特征點進行2D到3D的映射，得到3D人臉特征點；
根據所述3D人臉特征點和3D人臉特征點模型估計投影矩陣；所述3D人臉特征點模型是預先根據N個人臉圖像的3D人臉特征點得到的；
根據所述投影矩陣，確定在所述3D人臉數據中與所述人臉圖像中的像素點對應的點。
在上述實施例中，在獲取到人臉圖像和人臉圖像對應的3D人臉數據后，確定在所述3D人臉數據中與所述人臉圖像中的像素點對應的點；根據所述3D人臉數據中與所述人臉圖像中像素點對應的點的法線方向，獲得所述人臉圖像的法線方向掩膜圖像；根據所述掩膜圖像確定所述人臉圖像中人臉的對稱權重；根據所述對稱權重，對所述人臉圖像中的人臉姿態進行校正。由于法線方向可以反映人臉是否被遮擋的情況，因此，在對人臉圖像進行校正時考慮了圖像中的人臉是否被遮擋的情況，使得校正后的效果更加準確，且在進行校正時考慮了人臉的對稱信息，使得校正后的效果更加準確、具有個性化。
附圖說明
為了更清楚地說明本發明實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡要介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域的普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。
圖1為本發明實施例提供人臉姿態校正方法的流程示意圖；
圖2(a)為本發明實施例提供的人臉圖像；
圖2(b)為本發明實施例提供的法線方向掩膜圖像；
圖3為本發明實施例提供的高斯權重圖像；
圖4為本發明實施例提供的人臉姿態校正裝置的結構示意圖。
具體實施方式
為了使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明作進一步地詳細描述，顯然，所描述的實施例僅僅是本發明一部份實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其它實施例，都屬于本發明保護的范圍。
現有三維人臉數據庫中的每一個3D人臉數據都有對應的正面2D人臉圖像。
然而，采集的2D人臉圖像中的人臉姿態是各異的，可能正面面對相機，則其臉部信息能夠被較為完整地采集下來，也可能人臉朝向右側，即左臉信息能夠被相機全部采集到，但右臉信息被遮擋了，無法被相機采集下來。對于人臉姿態角度過大，而導致的人臉信息丟失的人臉圖像，需要對其進行人臉姿態校正。
為了獲得更加準確的人臉校正結果，本發明實施例提供了一種人臉姿態校正方法，利用三維人臉數據對人臉圖像進行校正。
參見圖1，為本發明實施例提供的人臉姿態校正方法的流程示意圖。如圖所述，該方法包括：
步驟101、獲取人臉圖像，以及該人臉圖像對應的3D人臉數據。
由于不同人臉之間的差異，以及在采集人臉數據(即人臉圖像和對應的3D人臉模型)時的條件差異，都會導致采集到的人臉數據中的人臉大小不一致，3D人臉模型中空間點的數量不同，導致不同的人臉數據之間無法進行橫向比較。為了解決上述問題，可選地，在上述步驟101之后，還可以對該3D人臉數據進行平均處理。對獲取到的人臉圖像按照預設位置和/或預設個數提取特征點，在提取到的特征點之間可以按照預設比例進行插值，以得到預設數量的特征點。然后對這些預設數量的特征點進行2D到3D的映射，確定在3D人臉數據中與這些特征點和插值點一一對應的點，由于從人臉圖像中提取到的特征點是二維平面上的點，僅有X和Y坐標；而3D人臉數據中的點除了包含X方向和Y方向上的信息，還包括Z方向上的深度信息，在具體映射時，確定提取到的特征點的X、Y坐標，在3D人臉數據中X、Y坐標均與特征點相同的點，即為在3D人臉數據中與特征點對應的點。然后對3D人臉數據中的對應點進行N次三角剖分，以獲得具有預設空間點數的3D人臉模型。其中，N為大于等于1的整數，可選地，N＝2。
步驟102、確定在3D人臉數據中與該人臉圖像中的像素點對應的點。
具體地，可以利用投影矩陣，確定在3D人臉數據與該人臉圖像中的像素點對應的點，其中，投影矩陣用于表示人臉圖像與3D人臉數據中的點的對應關系。
可選地，投影矩陣，可以通過下述方法獲得：
對獲取到的人臉圖像，利用特征點定位算法，提取特征點，例如眼角點，眼睛上、下邊緣點，嘴角點，嘴部的上、下邊緣點等，需要說明的是，此處提取的特征點不包括臉部輪廓上的點。
在提取到特征點后，對特征點進行映射，將特征點從2D人臉圖像映射到3D人臉數據中，確定在3D人臉數據中與這些特征點一一對應的點，得到3D人臉特征點，具體映射方法如前所述此處不再贅述。
然后，根據3D人臉特征點和3D人臉特征點模型進行投影矩陣的估計。
其中，3D人臉特征點模型可以通過預先統計獲得。具體地，可以預先從數據庫中獲取多個人臉圖像以及人臉圖像所對應的3D人臉數據，按照前述方法對人臉圖像提取特征點，并對特征點進行2D到3D的映射，得到3D人臉特征點，在得到多個人臉圖像的3D人臉特征點后，對這些特征點的位置進行平均，以得到3D人臉特征點模型，例如：對每個人臉圖像提取中左、右眼的眼角點，眼睛上、下邊緣點，在對這些特征點進行2D到3D的映射后，對所有左眼的左眼角點在3D人臉數據中的坐標進行統計，求取平均坐標，同理，對左眼的右眼角點、右眼的左右眼角點、左眼的上下邊緣點、右眼的上下邊緣點求取平均坐標，這些特征點的平均坐標即構成3D人臉特征點模型。
估計出的投影矩陣可以表示2D的人臉圖像中的像素點與3D人臉數據中空間點的對應關系。具體地，可以根據公式(1)確定投影矩陣。
其中，Fx、Fy、Cx、Cy表示相機內參，R表示旋轉矩陣，T表示平移矩陣，M1M2即為待估計的投影矩陣。
在根據投影矩陣，確定在3D人臉數據中與人臉圖像中的像素點的對應關系的過程中，若3D人臉數據中不存在與人臉圖像中的點所對應的點，可以通過立方插值的方法進行填充。
步驟103、根據3D人臉數據中與該人臉圖像中像素點對應的點的法線方向，獲得人臉圖像的法線方向掩膜圖像。
圖2(a)表示原始的人臉圖像，圖2(b)為獲得的法線方向掩膜圖像。如圖所示，在獲取掩膜圖像時，可以以臉部輪廓做外接矩形，僅保留該矩形內的信息，因為背景部分不是本發明實施例所關注的內容，或者，也可以在步驟101之后，就提取人臉圖像中的人臉部分，本發明對此不做限制。
在人臉圖像的法線方向掩膜圖像中，每個像素點的像素值表示與該點對應的3D人臉數據中的空間點的法線方向。若被采集的物體或人臉的某一部分正對鏡頭，則該部分上的點的法線方向應與Z軸方向平行或與Z軸方向之間的夾角較小，否則，其方向與Z軸方向之間具有較大的夾角。可選地，若人臉上某一點的法線方向與Z軸方向之間的夾角大于45°，則認為該點所在的人臉部位沒有正對鏡頭，即該部分人臉存在一定的遮擋。
步驟104、根據掩膜圖像確定人臉圖像中人臉的對稱權重。
具體地，在得到掩膜圖像后，可以對該掩膜圖像進行基于閾值的二值化。例如，若一點的若法線方向與Z軸方向之間的夾角小于等于45°，則將該點的像素值置為0，反之，則將該點的像素值置為1。然后，可以對二值化后的掩膜圖像，沿中心線對稱地分為第一子圖像和第二子圖像，即將圖像對稱地分為左右兩部分，對左右兩部分分別計算像素之和，并將兩個像素之和相減，根據相減后的差值，判斷左右兩邊的遮擋情況，即確定第一子圖像和第二子圖像的權重。上述中心線的方向通常為垂直方向，因為通常情況下人臉圖像中的人臉的對稱軸是沿垂直方向的；若人臉的對稱軸方向與垂直方向之間的夾角較大，可以預先對人臉圖像進行旋轉。由于不同的人臉、人臉姿態角度不同、拍攝條件不同，得到的差值可能存在較大差異。為了適用于各種情況，可以對該差值通過一定算法進行歸一化，使得該差值處于預設的取值范圍內，將歸一化后的差值記為Sdiff。然后，可以根據公式(2)確定人臉圖像的對稱權重Wlr。
其中，a表示第一子圖像的第一權重，b表示第二子圖像的第二權重。
步驟105、根據對稱權重，對該人臉圖像中的人臉姿態進行校正。
具體地，可以對法線方向掩膜圖像進行高斯核模糊處理。仍以圖2(b)所示的掩膜圖像為例，經過一維高斯向下拓展處理后，得到如圖3所示的高斯圖像，將該圖像的像素矩陣記為Wgauss。
可選地，對法線方向掩膜圖像進行歸一化處理，例如，將掩膜圖像中的像素值歸一化到(0,1)之間，并將歸一化后的圖像像素矩陣記為Imask。
然后，根據對稱權重Wlr、掩膜圖像像素矩陣Imask、高斯圖像像素矩陣Wgauss確定第一系數，根據對稱權重Wlr、掩膜圖像像素矩陣Imask、高斯圖像像素矩陣Wgauss經過左右翻轉后的圖像確定第二系數。對圖像進行左右翻轉，是將圖像中原本位于左邊的像素點對稱地置于圖像右邊，將原本位于右邊的像素點對稱地置于左邊。例如，若初始圖像中的人臉向右側偏轉，經過左右對稱后，人臉則向左側偏轉。
將初始獲得的人臉圖像的像素矩陣記為Isrc，將人臉圖像像素矩陣Isrc與高斯圖像像素矩陣Wgauss進行點乘，得到第一像素矩陣；將人臉圖像像素矩陣Isrc與第一系數進行點乘，得到第二像素矩陣；將人臉圖像像素矩陣Isrc進行左右翻轉，將翻轉后圖像像素矩陣記為Isrclr，將Isrclr與第二系數進行點乘，得到第三像素矩陣。
將第一像素矩陣、第二像素矩陣、第三像素矩陣相加，即可得到校正后的人臉圖像的像素矩陣I。
具體地，可以通過下述方法獲得第一系數和第二系數：
按照公式(3)得到權重圖像W0org和W0sym。
將Wgauss與W0org相乘，得到Worg；對Wgauss進行左右翻轉，翻轉后與W0sym相乘，得到Wsym。
將Worg和Wlr(1)進行點乘，即得到第一系數；將Wsym和Wlr(2)進行點乘，即得到第二系數。
然后可以根據(4)對Isrc進行校正，得到校正后的人臉圖像像素矩陣I。
I＝Isrc·*Wgauss+Isrc·*Worg·*Wlr(1)+Isrclr·*Wsym·*Wlr(2) (4)
在上述實施例中，在獲取到人臉圖像和人臉圖像對應的3D人臉數據后，根據投影矩陣，確定在所述3D人臉數據中與所述人臉圖像中的像素點對應的點；根據所述3D人臉數據中與所述人臉圖像中像素點對應的點的法線方向，獲得所述人臉圖像的法線方向掩膜圖像；根據所述掩膜圖像確定所述人臉圖像中人臉的對稱權重；根據所述對稱權重，對所述人臉圖像中的人臉姿態進行校正。由于法線方向可以反映人臉是否被遮擋的情況，因此，在對人臉圖像進行校正時考慮了圖像中的人臉是否被遮擋的情況，使得校正后的效果更加準確，且在進行校正時考慮了人臉的對稱信息，使得校正后的效果更加準確、具有個性化。
基于相同的技術構思，本發明實施例還提供了一種人臉姿態校正裝置，用于實現上述方法實施例，如圖4所述，該人臉姿態校正裝置包括：
獲取模塊401，用于獲取人臉圖像，以及所述人臉圖像對應的3D人臉數據；
第一確定模塊402，用于確定在所述3D人臉數據中與所述人臉圖像中的像素點對應的點；
獲得掩膜圖像模塊403，用于根據所述3D人臉數據中與所述人臉圖像中像素點對應的點的法線方向，獲得所述人臉圖像的法線方向掩膜圖像；
第二確定模塊404，用于根據所述掩膜圖像確定所述人臉圖像中人臉的對稱權重；
校正模塊405，用于根據所述對稱權重，對所述人臉圖像中的人臉姿態進行校正。
具體地，第二確定模塊404，具體用于：對所述掩膜圖像進行二值化；將所述二值化后的圖像沿中心線對稱地分為第一子圖像和第二子圖像，分別計算所述第一子圖像和所述第二子圖像的像素值之和；根據所述第一子圖像和所述第二子圖像的像素值之和的差值，確定所述人臉圖像的第一子圖像的第一權重和第二子圖像的第二權重。
具體地，校正模塊405，具體用于：對所述掩膜圖像進行高斯核模糊處理，獲得高斯圖像；根據所述對稱權重、所述掩膜圖像、所述高斯圖像確定第一系數，根據所述對稱權重、所述掩膜圖像、所述高斯圖像經過左右翻轉后的圖像確定第二系數；將所述人臉圖像的像素矩陣與所述高斯圖像的像素矩陣進行點乘，得到第一像素矩陣；將所述人臉圖像的像素矩陣與所述第一系數進行點乘，得到第二像素矩陣；將所述人臉圖像進行左右翻轉，將翻轉后的圖像的像素矩陣與所述第二系數進行點乘，得到第三像素矩陣；將所述第一像素矩陣、第二像素矩陣、第三像素矩陣相加，得到校正后的人臉圖像的像素矩陣。
具體地，校正模塊，具體用于根據下述公式確定第一系數、第二系數：
a＝Worg·*Wlr(1)
b＝Wsym·*Wlr(2)
Worg＝Wgauss·*W0org
Wsym＝Wgauss′·*W0org
W0org＝1/exp(0.5+Imask)
W0sym＝1-W0org
其中，a表示第一系數，b表示第二系數，Wlr(1)和Wlr(2)分別表示第一權重和第二權重，Wgauss表示高斯圖像的像素矩陣，Imask表示掩膜圖像的像素矩陣，Wgauss′表示經過左右翻轉后的高斯圖像的像素矩陣。
可選地，該裝置還包括：
3D人臉數據處理模塊406，用于確定所述人臉圖像中的特征點；在所述特征點之間進行插值，得到預設數量的特征點；根據所述特征點在所述圖像中的二維坐標，對所述預設數量的特征點進行2D到3D的映射，確定在3D人臉數據中與所述具有預設數量的特征點對應的點；對所述3D人臉數據中的所述對應點進行N次三角剖分，N為大于等于1的整數；
第一確定模塊402，具體用于確定在建立所述人臉圖像中的點與所述經過三角剖分后的3D人臉數據中的點的對應關系。
具體地，第一確定模塊402，具體用于：確定所述人臉圖像中的特征點；根據所述特征點在所述圖像中的二維坐標，對所述特征點進行2D到3D的映射，得到3D人臉特征點；根據所述3D人臉特征點和3D人臉特征點模型估計投影矩陣；所述3D人臉特征點模型是預先根據N個人臉圖像的3D人臉特征點得到的；根據所述投影矩陣，確定在所述3D人臉數據中與所述人臉圖像中的像素點對應的點。
在上述實施例中，在獲取到人臉圖像和人臉圖像對應的3D人臉數據后，根據投影矩陣，確定在所述3D人臉數據中與所述人臉圖像中的像素點對應的點；根據所述3D人臉數據中與所述人臉圖像中像素點對應的點的法線方向，獲得所述人臉圖像的法線方向掩膜圖像；根據所述掩膜圖像確定所述人臉圖像中人臉的對稱權重；根據所述對稱權重，對所述人臉圖像中的人臉姿態進行校正。由于法線方向可以反映人臉是否被遮擋的情況，因此，在對人臉圖像進行校正時考慮了圖像中的人臉是否被遮擋的情況，使得校正后的效果更加準確，且在進行校正時考慮了人臉的對稱信息，使得校正后的效果更加準確、具有個性化。
本發明是參照根據本發明實施例的方法、設備(系統)、和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
這些計算機程序指令也可存儲在能引導計算機或其他可編程數據處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的制造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
這些計算機程序指令也可裝載到計算機或其他可編程數據處理設備上，使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機或其他可編程設備上執行的指令提供用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
盡管已描述了本發明的優選實施例，但本領域內的技術人員一旦得知了基本創造性概念，則可對這些實施例作出另外的變更和修改。所以，所附權利要求意欲解釋為包括優選實施例以及落入本發明范圍的所有變更和修改。
顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和范圍。這樣，倘若本發明的這些修改和變型屬于本發明權利要求及其等同技術的范圍之內，則本發明也意圖包含這些改動和變型在內。
- 還沒有人留言評論。精彩留言會獲得點贊！