圖像風格化重建的方法和裝置的制造方法

文檔序號：10625239閱讀：669來源：國知局

圖像風格化重建的方法和裝置的制造方法
【專利摘要】本發明提供了一種圖像風格化重建的方法和裝置。該方法包括：獲取多對相同場景的源風格圖像和目標風格圖像；根據多對相同場景的源風格圖像和目標風格圖像，獲取源訓練集Y和目標訓練集X；對源訓練集Y和目標訓練集X分別進行訓練，確定源風格字典Dy，目標風格字典Dx以及源訓練集Y對應的稀疏系數αy和目標訓練集X對應的稀疏系數αx之間的映射關系根據源風格字典Dy，目標風格字典Dx以及映射關系M，采用稀疏表示的方法對待處理的源風格圖像y′進行重建，獲取與待處理的源風格圖像y′對應的目標風格圖像x′。實現了任意風格的源風格圖像到任意風格的目標風格圖像的重建，重建的準確性高。
【專利說明】
圖像風格化重建的方法和裝置
技術領域
[0001] 本發明實施例設及圖像處理領域，尤其設及一種圖像風格化重建的方法和裝置。
【背景技術】
[0002] 在現實生活的應用中，為了不同的目的，存在許多不同的成像模式和相應的風格圖像，如為了光照不變的人臉識別使用的近紅外圖像；在執法過程或者娛樂設備中使用的素描圖像；在地震等特殊情況下為了檢測生命使用的熱紅外圖像等。
[0003] 但為了滿足某些圖像應用需求，需要將相同場景的不同風格圖像轉換為相同風格圖像。如在人臉識別中，不同風格的人臉圖像間的匹配效果很差，將不同風格的人臉圖像轉換為相同風格的人臉圖像后，能夠提升人臉識別的準確率。因此圖像風格化重建技術應運而生。
[0004] 現有的圖像風格化重建技術主要為基于筆觸的圖像風格化重建方法，該圖像風格化重建方法只能將某種特定風格的圖像重建為另一種特定風格的圖像，圖像重建的通用性較差，并且重建出的風格圖像輪廓模糊，圖像風格化重建的準確性較差。

【發明內容】

[0005] 本發明實施例提供一種圖像風格化重建的方法和裝置。實現了任意風格的源風格圖像到任意風格的目標風格圖像的重建，重建的準確性高。
[0006] 本發明實施例提供一種圖像風格化重建的方法，包括：
[0007] 獲取多對相同場景的源風格圖像和目標風格圖像；
[000引根據所述多對相同場景的源風格圖像和目標風格圖像，獲取源訓練集Y和目標訓練集X ;
[0009] 對所述源訓練集Y和所述目標訓練集X分別進行訓練，確定源風格字典護，目標風格字典護^及所述源訓練集Y對應的稀疏系數α y和所述目標訓練集X對應的稀疏系數曰X之間的映射關系Λ/=[(仿1仿1') 1沁仿、;
[0010] 根據所述源風格字典護，所述目標風格字典護^及所述映射關系Μ，采用稀疏表示的方法對待處理的源風格圖像y'進行重建，獲取與所述待處理的源風格圖像y'對應的目標風格圖像X'。
[0011] 本發明實施例提供一種圖像風格化重建的裝置，包括：
[0012] 獲取模塊，用于獲取多對相同場景的源風格圖像和目標風格圖像；
[0013] 所述獲取模塊，還用于根據所述多對相同場景的源風格圖像和目標風格圖像，獲取源訓練集Y和目標訓練集X ;
[0014] 確定模塊，用于對所述源訓練集Y和所述目標訓練集X分別進行訓練，確定源風格字典護，目標風格字典護^及所述源訓練集Y對應的稀疏系數α y和所述目標訓練集X對應的稀疏系數α X之間的映射關系Μ =[(換換'c/f ;
[0015] 重建模塊，用于根據所述源風格字典護，所述目標風格字典護^及所述映射關系 M，采用稀疏表示的方法對待處理的源風格圖像y'進行重建，獲取與所述待處理的源風格圖像y'對應的目標風格圖像X'。
[0016] 本發明實施例提供一種圖像風格化重建的方法和裝置。通過獲取多對相同場景的源風格圖像和目標風格圖像；根據多對相同場景的源風格圖像和目標風格圖像，獲取源訓練集Y和目標訓練集X ;對源訓練集Y和目標訓練集X分別進行訓練，確定源風格字典護，目標風格字典及源訓練集Y對應的稀疏系數α y和目標訓練集X對應的稀疏系數α X 之間的映射關系Μ二[(沁沁'）|沁分''']'';根據源風格字典護，目標風格字典護^及映射關系Μ，采用稀疏表示的方法對待處理的源風格圖像y'進行重建，獲取與待處理的源風格圖像y'對應的目標風格圖像X'。實現了任意風格的源風格圖像到任意風格的目標風格圖像的重建，重建的準確性高。
【附圖說明】
[0017] 為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可W 根據運些附圖獲得其他的附圖。
[001引圖1為本發明圖像風格化重建的方法實施例一的流程圖；
[0019] 圖2為本發明圖像風格化重建的方法實施例二的第一流程圖；
[0020] 圖3為本發明圖像風格化重建的方法實施例二的第二流程圖；
[0021] 圖4為本發明圖像風格化重建的裝置實施例一的結構示意圖；
[0022] 圖5為本發明圖像風格化重建的裝置實施例二的結構示意圖。
【具體實施方式】
[0023] 為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
[0024] 圖1為本發明圖像風格化重建的方法實施例一的流程圖，如圖1所示，本實施例的執行主體為具有存儲和處理功能的終端設備或服務器，如計算機，筆記本電腦等，具體可通過軟件、硬件或軟硬件相結合的方式實現，該方法包括：
[0025] 步驟101，獲取多對相同場景的源風格圖像和目標風格圖像。
[0026] 本實施例中，對源風格圖像和目標風格圖像的類型不做限定，如源風格圖像為近紅外圖像，目標風格圖像為出于同一畫家的素描圖像，又如源風格圖像為熱紅外圖像，目標風格圖像為近紅外圖像等。
[0027] 本實施例中，相同場景的源風格圖像和目標風格圖像是指源風格圖像和目標風格圖像所展示的場景相同，如源風格圖像和目標風格圖像所展示的都為人臉圖像，又如源風格圖像和目標風格圖像展示的都為指紋圖像等。
[0028] 本實施例中，一對相同場景的源風格圖像和目標風格圖像是指該對源風格圖像和目標風格圖像展示的為相同事物的圖像，如在人臉圖像中，一對相同場景的源風格圖像和目標風格圖像展示的都為張 Ξ的人臉。
[0029] 本實施例中，W源風格圖像為照片圖像，目標風格圖像為出于同一畫家的素描圖像，場景為人臉圖像為例，則本實施例中的獲取多對相同場景的源風格圖像和目標風格圖像是指獲取多個人中每個人相對應的人臉照片圖像和素描圖像，其中對每個人相對應的照片圖像和素描圖像的對數不做限定。
[0030] 本實施例中，多對相同場景的源風格圖像和目標風格圖像的大小相等。
[0031] 步驟102,根據多對相同場景的源風格圖像和目標風格圖像，獲取源訓練集Y和目柄訓練集X。
[0032] 本實施例中，由多對相同場景的源風格圖像和目標風格圖像中的多幅源風格圖像經處理組成源訓練集Y，由多對相同場景的源風格圖像和目標風格圖像中的多幅目標風格圖像經處理組成目標訓練集X。
[003引步驟103,對源訓練集Y和目標訓練集X分別進行訓練，確定源風格字典護，目標風格字典護^及源訓練集Y對應的稀疏系數α y和目標訓練集X對應的稀疏系數α X之間的映射關系1# =[(沁'沁'' )|沁抹、']'。
[0034] 本實施例中，對源訓練集Υ和目標訓練集X分別采用相同的方法進行訓練，確定源風格字典護，目標風格字典〇x。
[0035] 其中，源風格字典護和目標風格字典D X都為過完備字典。
[0036] 本實施例中，由于源訓練集Y和目標訓練集X分別采用的是成對的源風格圖像和目標風格圖像經處理獲取的，并且源風格字典護和目標風格字典D X分別是對源訓練集Y和目標訓練集X采用相同的訓練方法獲得的，所W源訓練集Y對應的稀疏系數α y和目標訓練集X對應的稀疏系數qX之間存在映射關系，該映射關系Μ =[(沁'沁'")ν'α'' j'。
[0037] 具體地，映射關系Μ可采用最小二乘法進行計算確定。
[0038] 步驟104,根據源風格字典護，目標風格字典護^及映射關系Μ，采用稀疏表示的方法對待處理的源風格圖像y'進行重建，獲取與待處理的源風格圖像y'對應的目標風格圖像X'。
[0039] 本實施例中，待處理的源風格圖像y'與源訓練集Y中的源風格圖像為相同場景的圖像。
[0040] 具體地，本實施例中，在獲取到待處理的源風格圖像y'后，根據源風格字典DH十算源風格字典護下待處理的源風格圖像y'對應的稀疏系數α Y'，根據待處理的源風格圖像y'對應的稀疏系數αΥ'Κ及映射關系Μ，計算目標風格字典護下的目標風格圖像X'對應的稀疏系數qX'，根據目標風格字典護和目標風格圖像X'對應的稀疏系數α X'獲取與待處理的源風格圖像y'對應的目標風格圖像X'。
[0041] 本實施例中，通過獲取多對相同場景的源風格圖像和目標風格圖像；根據多對相同場景的源風格圖像和目標風格圖像，獲取源訓練集Y和目標訓練集X ;對源訓練集Y和目標訓練集X分別進行訓練，確定源風格字典DY，目標風格字典護^及源訓練集Y對應的稀疏系數和目標訓練集X對應的稀疏系數α X之間的映射關系獻=[(彷^/尸彷^/]『；根據源風格字典護，目標風格字典護^及映射關系Μ，采用稀疏表示的方法對待處理的源風格圖像y'進行重建，獲取與待處理的源風格圖像y'對應的目標風格圖像X'。實現了任意風格的源風格圖像到任意風格的目標風格圖像的重建，重建的準確性高。
[0042] 圖2為本發明圖像風格化重建的方法實施例二的流程圖，如圖2所示，本實施例的執行主體為具有存儲和處理功能的終端設備或服務器，如計算機，筆記本電腦等，具體可通過軟件、硬件或軟硬件相結合的方式實現，該方法包括：
[0043] 步驟201，獲取多對相同場景的源風格圖像和目標風格圖像。
[0044] 本實施例中，步驟201和本發明圖像風格化重建的方法實施例一中的步驟101相同，在此不再一一寶述。
[0045] 步驟202,將多對相同場景的源風格圖像和目標風格圖像中的每幅源風格圖像重疊地劃分為多個源風格圖像塊，并將多對相同場景的源風格圖像和目標風格圖像中的每幅目標風格圖像重疊地劃分為多個目標風格圖像塊。
[0046] 本實施例中，將多對相同場景的源風格圖像和目標風格圖像中的每幅源風格圖像重疊地劃分為多個源風格圖像塊，每個源風格圖像塊的大小相等。將多對相同場景的源風格圖像和目標風格圖像中的每幅目標風格圖像重疊地劃分為多個目標風格圖像塊，每個目標風格圖像塊的大小相等。并且源風格圖像塊與目標風格圖像塊的大小相等。
[0047] 本實施例中，對源風格圖像塊與目標風格圖像塊的大小不做限定，如源風格圖像塊與目標風格圖像塊的大小都為8X8的表示圖像塊的矩陣或16X 16的表示圖像塊的矩陣等。
[0048] 本實施例中，對源風格圖像塊之間重疊的行數或列數的數量不做限定，對目標風格圖像塊之間重疊的行數或列數的數量不做限定，但源風格圖像塊之間、目標風格圖像塊之間重疊的行數或列數的數量相等。
[0049] 步驟203,將各個源風格圖像塊組合，獲取源訓練集Y，將各個目標風格圖像塊組合，獲取目標訓練集X。
[0050] 本實施例中，將多對相同場景的源風格圖像和目標風格圖像中的每幅源風格圖像重疊地劃分為多個源風格圖像塊，每幅目標風格圖像重疊地劃分為多個目標風格圖像塊后，對每個源風格圖像塊和目標風格圖像塊進行拉伸處理，形成列向量，具體地形成列向量的方法為現有技術，本實施例中不再寶述。
[0051] 將拉伸處理后的每個源風格圖像塊y維合，形成源訓練集Y = 扔，72,...，yi，...，yJ。
[0052] 其中，i表示源訓練集Y中的第i個源風格圖像塊，η表示源訓練集Y中源風格圖像塊的個數。 W53] 將拉伸處理后的每個目標風格圖像塊組合，形成目標訓練集X = {X^J ^2* * * * , Xi, * * * , X。} D
[0054] 其中，i表示目標訓練集X中的第i個目標風格圖像塊，η表示目標訓練集X中目標風格圖像塊的個數。
[0055] 本實施例中，源訓練集Υ中源風格圖像塊的個數和目標訓練集X中目標風格圖像塊的個數相等。
[0056] 步驟204,對源訓練集Υ和目標訓練集X分別進行訓練，確定源風格字典護，目標風格字典護^及源訓練集Υ對應的稀疏系數α y和目標訓練集X對應的稀疏系數α X之間的映射關系姐二[你 α)於沁.r f。
[0057] 本實施例中，采用相同的訓練方法分別對源訓練集Υ和目標訓練集X進行訓練，確定源風格字典護，目標風格字典護。
[00郎]具體地，源風格字典巧y =(叫'...... 〇1..... 。
[0059] 其中，k表示源風格字典護的第k個字典基，h表示源風格字典中字典基的個數。 W60] 其中，源風格字典護中h個字典基是由源訓練集Y中隨機抽取的拉伸后的源風格圖像塊組成的。隨機抽取的每個拉伸后的源風格圖像塊yi對應源風格字典D y中的一個字典基巧'。
[oow]目標風格字典二（壞.0:'.....D；..…D,:)。
[0062] 其中，k表示目標風格字典護的第k個字典基，h表示目標風格字典中字典基的個數。
[0063] 其中，目標風格字典護中h個字典基是由目標訓練集X中隨機抽取的拉伸后的目標風格圖像塊組成的。隨機抽取的每個拉伸后的目標風格圖像塊對應目標風格字典D X 中的一個字典基 W64] 其中，目標風格字典護對應的隨機抽取的拉伸后的目標風格圖像塊與源風格字典護對應的隨機抽取的拉伸后的源風格圖像塊是一一對應的。
[0065] 本實施例中，本實施例中，源風格字典護和目標風格字典D X都為過完備字典。對源風格字典護，目標風格字典中的字典基的個數h不做限定。
[0066] 舉例說明為：源風格圖像為人臉的照片圖像，目標風格圖像為人臉的素描圖像，人臉的照片圖像為10個人的人臉圖像，每個人的人臉照片圖像的個數為5幅，每幅人臉照片圖像劃分為50個人臉照片圖像塊，則該人臉的照片圖像的圖像塊集合有2500個圖像塊，從中隨機抽取指定個數的圖像塊，每個圖像塊經拉伸后作為源風格字典的一個字典基，同理， 10個人的人臉素描圖像，每個人的人臉素描圖像的個數為5幅，每幅人臉素描圖像劃分為 50個人臉素描圖像塊，則該人臉的素描圖像的圖像塊集合有2500個圖像塊，取出與上述隨機取出的指定個數的圖像塊對應的人臉素描圖像塊，每個人臉素描圖像塊經拉伸后作為目標字典的一個字典基。
[0067] 所W，對于源訓練集Y中的每個拉伸處理后的源風格圖像塊都可W表示為式 (1)所示：陽0側
（1)
[0069] 其中，巧'表示源風格圖像塊對應的稀疏系數，努表示源風格圖像塊對應的重建誤差。
[0070] 對于目標訓練集X中的每個目標風格圖像塊都可W表示為式似所示：
[0071]
巧)
[0072] 其中，< 表示目標風格圖像塊對應的稀疏系數，豁表示目標風格圖像塊對應的重建誤差。
[0073] 由于對于相對應的源風格圖像塊yi和目標風格圖像塊X1，源風格圖像塊yi對應的稀疏系數心f和目標風格圖像塊對應的稀疏系數解具有相同的稀疏性，與各自字典中相對應的字典基相關，所W，源風格圖像塊對應的稀疏系數 < 和目標風格圖像塊對應的稀疏系數解之間的關系可表示為式（3)所示：
[0074]
掛陽07引對于源訓練集Y對應的稀疏系數《' =腳。。….<.·.·，的）和目標訓練集X對應的稀疏系數化'=(巧'.喊...，咯，…，嫁I，稀疏系數α邢目標訓練集X對應的稀疏系數α義間的關系可表示為式（4)所示：
[0076] ΜαΥ=曰 X (4) 陽077] 則稀疏系數α y和目標訓練集X對應的稀疏系數α X之間的映射關系Μ可表示為式妨所示： W7引
巧）
[00巧]其中，Μ可通過最小二乘法進行計算獲得。
[0080] 本實施例中，將源訓練集Υ對應的稀疏系數α y與目標訓練集X對應的稀疏系數 α X分別表示為式（6)和式（7)所示：
[0081] 曰 y=z.sY (6) W82] α x= Z · S X (7)
[008引其中，sY表示源訓練集Υ對應的稀疏系數數值，sx表示目標訓練集X對應的稀疏系數數值，Z表示源風格字典W及目標風格字典中的字典基標記數。
[0084] 本實施例中，由于對于相對應的源風格圖像塊和目標風格圖像塊X 1，源風格圖像塊y對應的稀疏系數撕和目標風格圖像塊X擁應的稀疏系數締具有相同的稀疏性，與各自字典中相對應的字典基相關，所W源風格字典W及目標風格字典中的字典基標記數相同。
[00化]步驟205,獲取待處理的源風格圖像y'，并將待處理的源風格圖像y'重疊地劃分為多個待處理的源風格圖像塊y'二柄'，y' 2，...，yi')。
[0086] 對每個待處理的源風格圖像塊yi'進行拉伸處理，形成列向量，具體地形成列向量的方法為現有技術，本實施例中不再寶述。
[0087] 其中，i表示源訓練集Y中的第i個源風格圖像塊，1為待處理的源風格圖像y' 被重疊地劃分的待處理的源風格圖像塊的個數。
[0088] 本實施例中，待處理的源風格圖像y'被重疊地劃分的待處理的源風格圖像塊之間重疊的行數或列數的個數與源訓練集Y中源風格圖像塊之間重疊的行數或列數的個數相等。并且，待處理的源風格圖像塊大小與源訓練集Y中的源風格圖像塊的大小相同。
[0089] 步驟206,對于每個待處理的源風格圖像塊'，采用稀疏表示的方法計算每個待處理的源風格圖像塊'對應的稀疏系數株f。
[0090] 具體地，本實施例中，對于每個待處理的源風格圖像塊y/，采用式（8)計算每個待處理的源風格圖像塊'對應的稀疏系數年'。
[0091]
(8)
[0092] 其中，運算符?Ι很"表示L2范數，運算符"Μ Μ 1"表示Li范數，λ為調節稀疏表示解的精確度和稀疏度的權重，式（8)可采用正則化最小二乘的方法進行求解，也可采用其它算法進行求解，本實施例不做限定。
[0093] 優選地，根據先驗知識，可知本實施例中的源風格圖像塊yi'對應的稀疏系數數值源風格字典及源風格圖像塊yi'對應的重建誤差祭'服從正態分布，源風格圖像塊yi'對應的稀疏系數數值皆及源風格圖像塊yi'對應的重建誤差祭'的超參數服從Gamma分布，所W，字典基標記數Zi'服從Beta-Bernoulli分布，其中Zi'服從 Beta-Bernoulli分布可表示為使（9)所示：
[0094]
(9)
[00巧]其中，π k為Beta-Bernoulli分布的中間參數，a, b, K為Beta-Bernoulli分布的中間系數。
[0096] 所W，本實施例中，在稀疏表示方法計算每個待處理的源風格圖像塊yi'的稀疏系數巧.'I時，在每個待處理的源風格圖像塊yi'對應的稀疏系數數值玲'服從正態分布，字典基標記數Zi'服從Beta-Bernoulli分布的限制條件下，采用稀疏表示方法計算每個待處理的源風格圖像塊y/的稀疏系數af，其中辟I可表示為式（10)所示：陽097]
(10) 陽〇9引其中，運算符"II情"表示L2范數，運算符"II II 1"表示Li范數，λ為調節稀疏表示解的精確度和稀疏度的權重，式（10)可采用正則化最小二乘的方法進行求解，也可采用其他算法進行求解，本實施例不做限定。
[0099] 步驟207,根據每個待處理的源風格圖像塊'的稀疏系數峰，映射關系Μ，W及字典基標記數Zi'，計算每個待處理的源風格圖像塊yi'對應的目標風格圖像塊Xi'對應的稀疏系數:cf。
[0100] 本實施例中，每個待處理的源風格圖像塊y/對應的目標風格圖像塊Xi'對應的稀疏系數表示為式（11)所示：
[0101]
(11) 陽102] 其中，Zi'為待處理的源風格圖像塊y/的稀疏系數《Τ'對應的字典基標記數。 [0103] 步驟208,根據每個目標風格圖像塊'對應的稀疏系數餐和目標風格字典護，計算每個目標風格圖像塊Xi'。陽104] 其中，每個目標風格圖像塊V表示為式所示：
[0105]
(12)
[0106] 步驟209,根據每個目標風格圖像塊Xi'，合成待處理的源風格圖像y'對應的目標風格圖像X'。陽107] 具體地，本實施例中，步驟209可分為W下Ξ個步驟進行，如圖3所示。
[0108] 步驟209a，獲取每個目標風格圖像塊Xi'之間的重疊區域。
[0109] 本實施例中，根據待處理的源風格圖像y'重疊劃分為多個源風格圖像塊時的待處理的源風格圖像塊y/之間重疊的行數或列數，獲取每個目標風格圖像塊Xi'之間的重疊區域。
[0110] 步驟209b，對重疊區域進行加和取平均值運算，確定重建的重疊區域。陽111] 步驟209c，根據每個目標風格圖像塊Xi'和重建的重疊區域，合成目標風格圖像 X,。
[0112] 本實施例中，將每個目標風格圖像塊'和重建的重疊區域組合，合成重建后的目標風格圖像X'。陽113] 本實施例中，將多對相同場景的源風格圖像和目標風格圖像劃分為多個源風格圖像塊和多個目標圖像塊，并確定過完備的源風格字典護和目標風格字典D X，根據源風格字典護，目標風格字典護^及映射關系Μ，采用稀疏表示的方法對待處理的源風格圖像y'進行重建，并在采用稀疏表示的方法對待處理的源風格圖像y'進行重建時，使字典基標記數 Zi'服從Beta-Bernoulli分布的限制條件，獲取與待處理的源風格圖像y'對應的目標風格圖像X'，能夠使源風格圖像采用稀疏表示的方法計算出的稀疏系數更精確，W實現重建的與待處理的源風格圖像y'對應的目標風格圖像X'準確性更高。
[0114] 需要說明的是，本實施例中所有公式中的AB的形式表示A矩陣或向量、B矩陣或向量之間的乘積。
[0115] 圖4為本發明圖像風格化重建的裝置實施例一的結構示意圖，如圖4所示，該圖像風格化重建的裝置包括：獲取模塊41、確定模塊42和重建模塊43。
[0116] 其中，獲取模塊41，用于獲取多對相同場景的源風格圖像和目標風格圖像。獲取模塊41，還用于根據多對相同場景的源風格圖像和目標風格圖像，獲取源訓練集Y和目標訓練集X。確定模塊42,用于對源訓練集Y和目標訓練集X分別進行訓練，確定源風格字典護，目標風格字典護^及源訓練集Y對應的稀疏系數α y和目標訓練集X對應的稀疏系數曰X之間的映射關系Μ二[(0'1'沁'')。重建模塊43,用于根據源風格字典護，目標風格字典護^及映射關系M，采用稀疏表示的方法對待處理的源風格圖像y'進行重建，獲取與待處理的源風格圖像y'對應的目標風格圖像X'。
[0117] 本實施例的裝置可W執行圖1所示方法實施例的技術方案，其實現原理和技術效果類似，此處不再寶述。
[0118] 圖5為本發明圖像風格化重建的裝置實施例二的結構示意圖，如圖5所示，該圖像風格化重建的裝置包括獲取模塊51、確定模塊52、重建模塊53、劃分模塊54、計算模塊55。
[0119] 其中，獲取模塊51，用于獲取多對相同場景的源風格圖像和目標風格圖像。獲取模塊51，還用于根據多對相同場景的源風格圖像和目標風格圖像，獲取源訓練集Y和目標訓練集X。確定模塊52,用于對源訓練集Y和目標訓練集X分別進行訓練，確定源風格字典護，目標風格字典irw及源訓練集Y對應的稀疏系數α y和目標訓練集X對應的稀疏系數 α義間的映射關系Μ 1沁妒Y。重建模塊53,用于根據源風格字典護，目標風格字典護^及映射關系Μ，采用稀疏表示的方法對待處理的源風格圖像y'進行重建，獲取與待處理的源風格圖像y'對應的目標風格圖像X'。
[0120] 進一步地，獲取模塊51包括第一劃分單元511、第二劃分單元512、第一組合單元 513和第二組合單元514。陽121] 其中，第一劃分單元511 :用于將多對相同場景的源風格圖像和目標風格圖像中的每幅源風格圖像重疊地劃分為多個源風格圖像塊。
[0122] 第二劃分單元512 :用于將多對相同場景的源風格圖像和目標風格圖像中的每幅目標風格圖像重疊地劃分為多個目標風格圖像塊。陽123] 第一組合單元513 :用于將各個源風格圖像塊組合，獲取源訓練集Y。
[0124] 第二組合單元514 :用于將各個目標風格圖像塊組合，獲取目標訓練集X。
[01巧]進一步地，劃分模塊54,用于重建模塊根據源風格字典護，目標風格字典護^及映射關系M，采用稀疏表示的方法對待處理的源風格圖像y'進行重建，獲取與待處理的源風格圖像y'對應的目標風格圖像X'之前，將待處理的源風格圖像y'重疊地劃分為多個待處理的源風格圖像塊y' =(y/，y2')，待處理的源風格圖像塊大小與源訓練集Y中的源風格圖像塊的大小相同。
[01%] 計算模塊55,用于對于每個待處理的源風格圖像塊y/，采用稀疏表示的方法計算每個待處理的源風格圖像塊'對應的稀疏系數沒f。
[0127] 優選地，計算模塊55,具體用于：
[0128] 在每個待處理的源風格圖像塊yi'對應的稀疏系數數值sf服從正態分布，字典基標記數Zi'服從Beta-Bernoulli分布的限制條件下，采用稀疏表示方法計算每個待處理的源風格圖像塊y/的稀疏系勤
[0129] 進一步地，重建模塊包括：第一計算單元531、第二計算單元532和合成單元533。
[0130] 其中，第一計算單元531 :用于根據每個待處理的源風格圖像塊yi'的稀疏系數游％映射關系M，W及字典基標記數Zi'，計算每個待處理的源風格圖像塊y/對應的目標風格圖像塊'對應的稀疏系數巧巧''。陽131 ] 第二計算單元532,用于根據每個目標風格圖像塊'對應的稀疏系數貨f和目標風格字典護，計算每個目標風格圖像塊Λ;' = D'a/。
[0132] 合成單元533,用于根據每個目標風格圖像塊X' 1，合成待處理的源風格圖像y' 對應的目標風格圖像X'。
[0133] 進一步地，合成單元533具體用于：陽134] 獲取每個目標風格圖像塊Xi'之間的重疊區域；對重疊區域進行加和取平均值運算，確定重建的重疊區域；根據每個目標風格圖像塊Xi'和重建的重疊區域，合成目標風格圖像X'。
[0135] 本實施例的裝置可W執行圖2和圖3所示方法實施例的技術方案，其實現原理和技術效果類似，此處不再寶述。陽136] 本領域普通技術人員可W理解：實現上述各方法實施例的全部或部分步驟可W通過程序指令相關的硬件來完成。前述的程序可W存儲于一計算機可讀取存儲介質中。該程序在執行時，執行包括上述各方法實施例的步驟；而前述的存儲介質包括：ROM、RAM、磁碟或者光盤等各種可W存儲程序代碼的介質。
[0137] 最后應說明的是：W上各實施例僅用W說明本發明的技術方案，而非對其限制；盡管參照前述各實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可W對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特征進行等同替換；而運些修改或者替換，并不使相應技術方案的本質脫離本發明各實施例技術方案的范圍。
【主權項】
1. 一種圖像風格化重建的方法，其特征在于，包括：獲取多對相同場景的源風格圖像和目標風格圖像；根據所述多對相同場景的源風格圖像和目標風格圖像，獲取源訓練集Y和目標訓練集 X; 對所述源訓練集Y和所述目標訓練集X分別進行訓練，確定源風格字典護，目標風格字典護W及所述源訓練集Y對應的稀疏系數a Y和所述目標訓練集X對應的稀疏系數a X之間的映射關系根據所述源風格字典護，所述目標風格字典護W及所述映射關系M，采用稀疏表示的方法對待處理的源風格圖像y'進行重建，獲取與所述待處理的源風格圖像y'對應的目標風格圖像X'。2. 根據權利要求1所述的方法，其特征在于，所述根據所述多對相同場景的源風格圖像和目標風格圖像，獲取源訓練集Y和目標訓練集X，具體包括：將所述多對相同場景的源風格圖像和目標風格圖像中的每幅源風格圖像重疊地劃分為多個源風格圖像塊；將所述多對相同場景的源風格圖像和目標風格圖像中的每幅目標風格圖像重疊地劃分為多個目標風格圖像塊；將所述各個源風格圖像塊組合，獲取源訓練集Y ; 將所述各個目標風格圖像塊組合，獲取目標訓練集X。3. 根據權利要求2所述的方法，其特征在于，所述根據所述源風格字典D V，所述目標風格字典護W及所述映射關系M，采用稀疏表示的方法對待處理的源風格圖像y'進行重建，獲取與所述待處理的源風格圖像y'對應的目標風格圖像X'之前，還包括：將所述待處理的源風格圖像y'重疊地劃分為多個待處理的源風格圖像塊y' =(y' i，y' 2，...，y' 1)，所述待處理的源風格圖像塊大小與所述源訓練集Y中的源風格圖像塊的大小相同；對于每個待處理的源風格圖像塊y' 1，采用稀疏表示的方法計算每個待處理的源風格圖像塊y' 1對應的稀疏系數鮮I。4. 根據權利要求3所述的方法，其特征在于，所述對于每個待處理的源風格圖像塊 y' 1，采用稀疏表示的方法計算每個待處理的源風格圖像塊y' 1對應的稀疏系數巧1''，具體包括：在每個待處理的源風格圖像塊y' 1對應的稀疏系數數值妓'服從正態分布，字典基標記數Z' i服從Beta-Bernoulli分布的限制條件下，采用稀疏表示方法計算每個待處理的源風格圖像塊y' 1的稀疏系數5. 根據權利要求4所述的方法，其特征在于，所述根據所述源風格字典D V，所述目標風格字典護W及所述映射關系M，采用稀疏表示的方法對待處理的源風格圖像y'進行重建，獲取與所述待處理的源風格圖像y'對應的目標風格圖像，具體包括：根據所述每個待處理的源風格圖像塊y' 1的稀疏系數巧/，所述映射關系M，W及所述字典基標記數Z' 1，計算每個待處理的源風格圖像塊y' I對應的目標風格圖像塊X' 1對應的稀疏系數根據每個目標風格圖像塊X' 1對應的稀疏系數城'和所述目標風格字典護，計算每個目標風格圖像其根據所述每個目標風格圖像塊X' 1，合成待處理的源風格圖像y'對應的目標風格圖像X'。6. 根據權利要求5所述的方法，所述根據所述每個目標風格圖像塊X' 1，合成待處理的源風格圖像y'對應的目標風格圖像X'，具體包括：獲取所述每個目標風格圖像塊X' 1之間的重疊區域；對所述重疊區域進行加和取平均值運算，確定重建的重疊區域；根據所述每個目標風格圖像塊X' 1和重建的重疊區域，合成目標風格圖像X'。7. -種圖像風格化重建的裝置，其特征在于，包括：獲取模塊，用于獲取多對相同場景的源風格圖像和目標風格圖像；所述獲取模塊，還用于根據所述多對相同場景的源風格圖像和目標風格圖像，獲取源訓練集Y和目柄；訓練集X ; 確定模塊，用于對所述源訓練集Y和所述目標訓練集X分別進行訓練，確定源風格字典護，目標風格字典ITW及所述源訓練集Y對應的稀疏系數a Y和所述目標訓練集X對應的稀疏系數a X之間的映射關系重建模塊，用于根據所述源風格字典護，所述目標風格字典護W及所述映射關系M，采用稀疏表示的方法對待處理的源風格圖像y'進行重建，獲取與所述待處理的源風格圖像 y'對應的目標風格圖像X'。8. 根據權利要求7所述的裝置，其特征在于，所述獲取模塊包括：第一劃分單元：用于將所述多對相同場景的源風格圖像和目標風格圖像中的每幅源風格圖像重疊地劃分為多個源風格圖像塊；第二劃分單元：用于將所述多對相同場景的源風格圖像和目標風格圖像中的每幅目標風格圖像重疊地劃分為多個目標風格圖像塊；第一組合單元：用于將所述各個源風格圖像塊組合，獲取源訓練集Y ; 第二組合單元：用于將所述各個目標風格圖像塊組合，獲取目標訓練集X。9. 根據權利要求8所述的裝置，其特征在于，還包括：劃分模塊和計算模塊，所述劃分模塊，用于所述重建模塊根據所述源風格字典護，所述目標風格字典護W及所述映射關系M，采用稀疏表示的方法對待處理的源風格圖像y'進行重建，獲取與所述待處理的源風格圖像y'對應的目標風格圖像X'之前，將所述待處理的源風格圖像y'重疊地劃分為多個待處理的源風格圖像塊y' =(y' i，y' 2，...，y' 1)，所述待處理的源風格圖像塊大小與所述源訓練集Y中的源風格圖像塊的大小相同；所述計算模塊，用于對于每個待處理的源風格圖像塊y' 1，采用稀疏表示的方法計算每個待處理的源風格圖像塊y' 1對應的稀疏系數巧"'。10. 根據權利要求9所述的裝置，其特征在于，所述計算模塊，具體用于：在每個待處理的源風格圖像塊y' I對應的稀疏系數數值sf服從正態分布，字典基標記數Z' i服從Beta-Bernoulli分布的限制條件下，采用稀疏表示方法計算每個待處理的源風格圖像塊y' 1的稀疏系數11. 根據權利要求10所述的裝置，其特征在于，所述重建模塊包括：第一計算單元：用于根據所述每個待處理的源風格圖像塊y' 1的稀疏系數"，，所述映射關系M，W及所述字典基標記數Z' 1，計算每個待處理的源風格圖像塊y' 1對應的目標風格圖像塊X' 1對應的稀疏系數第二計算單元，用于根據每個目標風格圖像塊X' 1對應的稀疏系數城'和所述目標風格字典D%計算每個目標風格圖像吳合成單元：用于根據所述每個目標風格圖像塊X' 1，合成待處理的源風格圖像y'對應的目標風格圖像X'。12. 根據權利要求11所述的裝置，所述合成單元具體用于：獲取所述每個目標風格圖像塊X' 1之間的重疊區域；對所述重疊區域進行加和取平均值運算，確定重建的重疊區域；根據所述每個目標風格圖像塊X' 1和重建的重疊區域，合成目標風格圖像X'。
【文檔編號】G06T5/50GK105989584SQ201510045335
【公開日】2016年10月5日
【申請日】2015年1月29日
【發明人】楊撒博雅, 劉家瑛, 楊帥, 郭宗明
【申請人】北京大學, 北大方正集團有限公司, 北京北大方正電子有限公司

完整全部詳細技術資料下載