使用參考區(qū)域的分割的圖像修補(bǔ)裝置和方法
【專利摘要】公開了一種使用參考區(qū)域的分割的圖像修補(bǔ)裝置和方法。根據(jù)本發(fā)明的使用參考區(qū)域的分割的圖像修補(bǔ)裝置包括：區(qū)域確定單元，用于確定視頻圖像內(nèi)容內(nèi)的要被圖像修補(bǔ)的區(qū)域以及參考區(qū)域；圖像修補(bǔ)組設(shè)置單元，用于通過使用參考區(qū)域內(nèi)的像素值來設(shè)置圖像修補(bǔ)組；圖像修補(bǔ)單元，用于執(zhí)行分割圖像修補(bǔ)和非分割圖像修補(bǔ)，分割圖像修補(bǔ)通過使用由圖像修補(bǔ)組的單位分割的參考區(qū)域來對要被分割的區(qū)域執(zhí)行圖像修補(bǔ)，非分割圖像修補(bǔ)通過使用參考區(qū)域來對要被圖像修補(bǔ)的區(qū)域執(zhí)行圖像修補(bǔ)；以及信息提供單元，用于將分割圖像修補(bǔ)的結(jié)果、非分割圖像修補(bǔ)的結(jié)果以及與分割圖像修補(bǔ)的結(jié)果和非分割圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息以視覺的形式提供給用戶。
【專利說明】
使用參考區(qū)域的分割的圖像修補(bǔ)裝置和方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及使用參考區(qū)域的分割的圖像修補(bǔ)裝置和方法，并且更具體地，涉及下述使用參考區(qū)域的分割的圖像修補(bǔ)裝置和方法，所述圖像修補(bǔ)裝置和方法可以在不對圖像修補(bǔ)區(qū)域進(jìn)行分割的情況下以及在將圖像修補(bǔ)區(qū)域分割成多個段(multiple stages)之后進(jìn)行圖像修補(bǔ)，并且可以將與相應(yīng)的類型的圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息提供給用戶。
[0002]本發(fā)明要求于2014年I月24日提交的韓國專利申請N0.10-2014-0009197的歸檔數(shù)據(jù)的權(quán)益，其全部內(nèi)容通過引用并入本文中。
【背景技術(shù)】
[0003]隨著數(shù)字信號處理技術(shù)的發(fā)展，在視頻中插入虛擬圖像的虛擬廣告受到了歡迎，并且間接的廣告自身已經(jīng)成為有效的廣告手段。因此，對虛擬間接廣告的興趣急劇增大，虛擬間接廣告將虛擬廣告與間接廣告合并并且將廣告圖像自然地插入至先前生成的視頻中。
[0004]結(jié)合虛擬間接廣告，圖像修補(bǔ)技術(shù)是十分重要的，圖像修補(bǔ)技術(shù)將虛擬圖像自然地插入至先前生成的視頻中，或者清除先前生成的視頻的圖像的一部分并且進(jìn)行自然恢復(fù)以實現(xiàn)與背景的協(xié)調(diào)。
[0005]在圖像修補(bǔ)技術(shù)中，需要供修復(fù)使用的參考區(qū)域來修復(fù)目標(biāo)區(qū)域。當(dāng)以非限制的方式指定參考區(qū)域時，如在參考區(qū)域被指定為整體視頻幀的情況下那樣，產(chǎn)生了計算負(fù)載急劇增大的問題。當(dāng)即使在參考區(qū)域受限的情況下也進(jìn)行整體圖像修補(bǔ)而不考慮參考區(qū)域與要修復(fù)的區(qū)域之間的校正時，會產(chǎn)生發(fā)生不期望的圖像修補(bǔ)結(jié)果的問題。
[0006]因此，存在對下述新圖像修補(bǔ)技術(shù)的不斷增大的需求，該新圖像修補(bǔ)技術(shù)在不對圖像修補(bǔ)區(qū)域進(jìn)行分割的情況下以及在將圖像修補(bǔ)區(qū)域分割成多個段之后進(jìn)行圖像修補(bǔ)，并且將與相應(yīng)的類型的圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息提供給用戶，從而克服當(dāng)在單個模式下進(jìn)行圖像修補(bǔ)時發(fā)生難以應(yīng)付的圖像修補(bǔ)結(jié)果的問題。
[0007]現(xiàn)有技術(shù)包括于2013年5月30日公開的韓國專利申請公開N0.10-2013-0056407(題目為 “Inpainting System and Method for H.264for Error Concealment Image(用于針對錯誤隱藏圖像的H.264的圖像修補(bǔ)系統(tǒng)和方法)”)。

【發(fā)明內(nèi)容】

[0008]技術(shù)問題
[0009]本發(fā)明的目的是在不對圖像修補(bǔ)區(qū)域進(jìn)行分割的情況下以及在將圖像修補(bǔ)區(qū)域分割成多個段之后進(jìn)行圖像修補(bǔ)，并且將與相應(yīng)的類型的圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息提供給用戶，從而克服當(dāng)在單個模式下進(jìn)行圖像修補(bǔ)時發(fā)生難以應(yīng)付的結(jié)果的問題。
[0010]另外，本發(fā)明的目的是將各種類型的圖像修補(bǔ)結(jié)果信息提供給用戶，接收來自用戶的反饋，以及將反饋結(jié)合至最終的圖像修補(bǔ)結(jié)果中，從而進(jìn)行更自然的圖像修補(bǔ)。
[0011]技術(shù)解決方案
[0012]為了實現(xiàn)以上目的，本發(fā)明提供了一種使用參考區(qū)域的分割的圖像修補(bǔ)裝置，該圖像修補(bǔ)裝置包括:區(qū)域確定單元，該區(qū)域確定單元被配置成確定存在于視頻圖像內(nèi)容內(nèi)的圖像修補(bǔ)目標(biāo)區(qū)域以及包括存在于距圖像修補(bǔ)目標(biāo)區(qū)域的邊界像素的預(yù)設(shè)距離內(nèi)的像素的參考區(qū)域；圖像修補(bǔ)組設(shè)置單元，該圖像修補(bǔ)組設(shè)置單元被配置成設(shè)置包括分割的參考區(qū)域和分割的目標(biāo)區(qū)域的相應(yīng)的對的圖像修補(bǔ)組，分割的參考區(qū)域通過使用參考區(qū)域內(nèi)的像素值對參考區(qū)域進(jìn)行分割來獲得，分割的目標(biāo)區(qū)域通過將目標(biāo)區(qū)域分割成與分割的參考區(qū)域?qū)?yīng)來獲得；圖像修補(bǔ)單元，該圖像修補(bǔ)單元被配置成進(jìn)行分割圖像修補(bǔ)和非分割圖像修補(bǔ)，分割圖像修補(bǔ)適于以圖像修補(bǔ)組為單位使用分割的參考區(qū)域來對分割的目標(biāo)區(qū)域進(jìn)行圖像修補(bǔ)，非分割圖像修補(bǔ)適于使用參考區(qū)域?qū)δ繕?biāo)區(qū)域進(jìn)行圖像修補(bǔ)；以及信息提供單元，該信息提供單元被配置成將分割圖像修補(bǔ)的結(jié)果、非分割圖像修補(bǔ)的結(jié)果以及與分割圖像修補(bǔ)的結(jié)果和非分割圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息以視覺的形式提供給用戶。
[0013]在這種情況下，圖像修補(bǔ)組設(shè)置單元還可以包括組設(shè)置生成單元，該組設(shè)置生成單元被配置成基于圖像修補(bǔ)組的數(shù)目以不同的方式生成組設(shè)置;并且組設(shè)置生成單元可以生成第一組設(shè)置以及生成第二組設(shè)置，在第一組設(shè)置中，圖像修補(bǔ)組的數(shù)目已經(jīng)被設(shè)置成分割的第一數(shù)目，在第二組設(shè)置中，圖像修補(bǔ)組的數(shù)目已經(jīng)被設(shè)置成分割的第二數(shù)目，分割的第二數(shù)目與分割的第一數(shù)目不同。
[0014]在這種情況下，分割圖像修補(bǔ)可以包括適于對第一組設(shè)置進(jìn)行的第一分割圖像修補(bǔ)以及適于對第二組設(shè)置進(jìn)行的第二分割圖像修補(bǔ)。
[0015]在這種情況下，分割圖像修補(bǔ)的結(jié)果可以包括第一分割圖像修補(bǔ)的結(jié)果和第二分割圖像修補(bǔ)的結(jié)果。
[0016]在這種情況下，信息提供單元還可以以視覺的形式顯示與第一分割圖像修補(bǔ)的結(jié)果和第二分割圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息。
[0017]在這種情況下，當(dāng)?shù)谝唤M設(shè)置的圖像修補(bǔ)組的數(shù)目超過組的預(yù)設(shè)參考數(shù)目時，組設(shè)置生成單元還可以生成其中圖像修補(bǔ)組的數(shù)目等于或小于組的參考數(shù)目的第二組設(shè)置。
[0018]在這種情況下，當(dāng)分割的第一數(shù)目超過分割的預(yù)設(shè)參考數(shù)目時，組設(shè)置生成單元可以通過對第一組設(shè)置的圖像修補(bǔ)組中的任何兩個或更多個圖像修補(bǔ)組進(jìn)行合并來生成第二分割設(shè)置。
[0019]在這種情況下，圖像修補(bǔ)組設(shè)置單元:可以計算參考區(qū)域內(nèi)的像素的邊緣值;可以確定邊緣值的變化是否低于預(yù)設(shè)參考變化；以及可以基于確定的結(jié)果對參考區(qū)域內(nèi)的像素進(jìn)行分組并且將所分組的像素設(shè)置為分割的參考區(qū)域。
[0020]在這種情況下，圖像修補(bǔ)組設(shè)置單元:可以確定邊緣值的變化是否低于預(yù)設(shè)參考變化；以及可以基于確定的結(jié)果將參考區(qū)域內(nèi)的像素進(jìn)行分組并且將所分組的像素設(shè)置為分割的參考區(qū)域。
[0021]在這種情況下，圖像修補(bǔ)組設(shè)置單元可以確定參考區(qū)域內(nèi)的像素值是否落入與參考像素值相似的值的預(yù)設(shè)范圍內(nèi)，并且可以將落入相似的范圍內(nèi)的像素設(shè)置為相同的圖像修補(bǔ)組。
[0022]在這種情況下，圖像修補(bǔ)組設(shè)置單元可以使用參考區(qū)域的分割邊界線的圖案對目標(biāo)區(qū)域進(jìn)行分割。
[0023]另外，本發(fā)明提供了一種使用參考區(qū)域的分割的圖像修補(bǔ)方法，該圖像修補(bǔ)方法包括:確定存在于視頻圖像內(nèi)容內(nèi)的圖像修補(bǔ)目標(biāo)區(qū)域以及包括存在于距圖像目標(biāo)區(qū)域的邊界像素的預(yù)設(shè)距離內(nèi)的像素的參考區(qū)域;設(shè)置包括分割的參考區(qū)域和分割的目標(biāo)區(qū)域的相應(yīng)的對的圖像修補(bǔ)組，分割的參考區(qū)域通過使用參考區(qū)域內(nèi)的像素值對參考區(qū)域進(jìn)行分割來獲得，分割的目標(biāo)區(qū)域通過將目標(biāo)區(qū)域分割成與分割的參考區(qū)域?qū)?yīng)來獲得;進(jìn)行分割圖像修補(bǔ)和非分割圖像修補(bǔ)，分割圖像修補(bǔ)適于以圖像修補(bǔ)組為單位使用分割的參考區(qū)域來對分割的目標(biāo)區(qū)域進(jìn)行圖像修補(bǔ)，非分割圖像修補(bǔ)適于使用參考區(qū)域來對目標(biāo)區(qū)域進(jìn)行圖像修補(bǔ)；以及將分割圖像修補(bǔ)的結(jié)果、非分割圖像修補(bǔ)的結(jié)果以及與分割圖像修補(bǔ)的結(jié)果和非分割圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息以視覺的形式提供給用戶。
[0024]在這種情況下，設(shè)置圖像修補(bǔ)組還可以包括基于圖像修補(bǔ)組的數(shù)目以不同的方式生成組設(shè)置;生成組設(shè)置可以包括生成第一組設(shè)置以及生成第二組設(shè)置，在第一組設(shè)置中，圖像修補(bǔ)組的數(shù)目已經(jīng)被設(shè)置成分割的第一數(shù)目，在第二組設(shè)置中，圖像修補(bǔ)組的數(shù)目已經(jīng)被設(shè)置成分割的第二數(shù)目，分割的第二數(shù)目與分割的第一數(shù)目不同。
[0025]在這種情況下，分割圖像修補(bǔ)可以包括適于對第一組設(shè)置進(jìn)行的第一分割圖像修補(bǔ)以及適于對第二組設(shè)置進(jìn)行的第二分割圖像修補(bǔ)。
[0026]在這種情況下，分割圖像修補(bǔ)的結(jié)果可以包括第一分割圖像修補(bǔ)的結(jié)果和第二分割圖像修補(bǔ)的結(jié)果。
[0027]在這種情況下，提供與差異有關(guān)的信息可以包括還以視覺的形式顯示與第一分割圖像修補(bǔ)的結(jié)果和第二分割圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息。
[0028]在這種情況下，生成組設(shè)置可以包括:當(dāng)?shù)谝唤M設(shè)置的圖像修補(bǔ)組的數(shù)目超過組的預(yù)設(shè)參考數(shù)目時，還生成其中圖像修補(bǔ)組的數(shù)目等于或小于組的參考數(shù)目的第二組設(shè)置。
[0029]在這種情況下，生成組設(shè)置可以包括:當(dāng)分割的第一數(shù)目超過分割的預(yù)設(shè)參考數(shù)目時，通過對第一組設(shè)置的圖像修補(bǔ)組中的任何兩個或更多個圖像修補(bǔ)組進(jìn)行合并來生成第二分割設(shè)置。
[0030]有益效果
[0031]根據(jù)本發(fā)明，在不對圖像修補(bǔ)區(qū)域進(jìn)行分割的情況下以及在將圖像修補(bǔ)區(qū)域分割成多個段之后進(jìn)行圖像修補(bǔ)，并且將與相應(yīng)的類型的圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息提供給用戶，從而克服當(dāng)在單個模式下進(jìn)行圖像修補(bǔ)時發(fā)生難以應(yīng)付的圖像修補(bǔ)結(jié)果的問題。
[0032]另外，根據(jù)本發(fā)明，將各種類型的圖像修補(bǔ)結(jié)果信息提供給用戶，接收來自用戶的反饋以及將反饋結(jié)合至最終的圖像修補(bǔ)結(jié)果中，從而進(jìn)行更自然的圖像修補(bǔ)。
【附圖說明】
[0033]圖1是示出了根據(jù)本發(fā)明的實施方式的使用參考區(qū)域的分割的圖像修補(bǔ)裝置的框圖；
[0034]圖2是示出了根據(jù)本發(fā)明的用于確定目標(biāo)區(qū)域和參考區(qū)域的步驟的示例的圖；
[0035]圖3至圖6是示出了根據(jù)本發(fā)明的用于設(shè)置圖像修補(bǔ)組的步驟的示例的圖；
[0036]圖7和圖8是示出了根據(jù)本發(fā)明的用于生成組設(shè)置的步驟的示例的圖；以及
[0037]圖9是示出了根據(jù)本發(fā)明的實施方式的使用參考區(qū)域的分割的圖像修補(bǔ)方法的操作流程圖。
【具體實施方式】
[0038]以下將參照附圖來詳細(xì)描述本發(fā)明的優(yōu)選實施方式。然而，在以下描述和附圖中將省略對可能導(dǎo)致本發(fā)明的主旨不必要地費(fèi)解的公知的功能和配置的詳細(xì)描述。另外，應(yīng)當(dāng)注意，貫穿附圖，盡可能用相同的附圖標(biāo)記來指示相同的部件。
[0039]以下說明書和所附權(quán)利要求書中使用的術(shù)語和詞語不應(yīng)當(dāng)嚴(yán)格理解為具有常用意思和詞典意思，而是應(yīng)當(dāng)理解為基于發(fā)明人可以適當(dāng)?shù)叵薅ㄐg(shù)語的概念以便以最佳方式描述他的或她的發(fā)明的原理而具有與本發(fā)明的教導(dǎo)精神一致的意思和概念。因此，由于本說明書中所描述的實施方式以及附圖中所示出的配置僅僅對應(yīng)于本發(fā)明的優(yōu)選實施方式并且不是涵蓋本發(fā)明的所有的教導(dǎo)精神，所以應(yīng)當(dāng)理解，在提出本申請時，可以存在可以替換所述配置的各種等同方式和變型。另外，術(shù)語“第一”、“第二”等用于描述各種部件，并且意在對部件進(jìn)行區(qū)分，但是不意在限制這些部件。
[0040]以下描述根據(jù)本發(fā)明的實施方式的使用參考區(qū)域的分割的圖像修補(bǔ)裝置。
[0041]圖1是示出了根據(jù)本發(fā)明的實施方式的使用參考區(qū)域的分割的圖像修補(bǔ)裝置的框圖。
[0042]參照圖1，根據(jù)本發(fā)明的實施方式的使用參考區(qū)域的分割的圖像修補(bǔ)裝置包括區(qū)域確定單元110、圖像修補(bǔ)組設(shè)置單元120、圖像修補(bǔ)單元130以及信息提供單元140。
[0043]區(qū)域確定單元110確定存在于視頻圖像內(nèi)容內(nèi)的圖像修補(bǔ)目標(biāo)區(qū)域以及包括存在于距圖像修補(bǔ)目標(biāo)區(qū)域的邊界像素的預(yù)設(shè)距離內(nèi)的像素的參考區(qū)域。
[0044]在這種情況下，圖像修補(bǔ)目標(biāo)區(qū)域是指視頻圖像內(nèi)容內(nèi)要被進(jìn)行圖像修補(bǔ)的區(qū)域。
[0045]在這種情況下，圖像修補(bǔ)目標(biāo)區(qū)域可以由用戶的輸入來確定。
[0046]圖像修補(bǔ)組設(shè)置單元120設(shè)置包括分割的參考區(qū)域和分割的目標(biāo)區(qū)域的相應(yīng)的對的圖像修補(bǔ)組，分割的參考區(qū)域通過使用參考區(qū)域內(nèi)的像素值對參考區(qū)域進(jìn)行分割來獲得，分割的目標(biāo)區(qū)域通過將目標(biāo)區(qū)域分割成與分割的參考區(qū)域?qū)?yīng)來獲得。
[0047]在這種情況下，圖像修補(bǔ)組設(shè)置單元120:可以計算參考區(qū)域內(nèi)的像素的邊緣值；可以確定邊緣值的變化是否低于預(yù)設(shè)參考變化；以及可以基于確定的結(jié)果將參考區(qū)域內(nèi)的像素進(jìn)行分組并且將所分組的像素設(shè)置為分割的參考區(qū)域。
[0048]在這種情況下，圖像修補(bǔ)組設(shè)置單元120:可以確定邊緣值的變化是否低于預(yù)設(shè)參考變化；以及可以基于確定的結(jié)果將參考區(qū)域內(nèi)的像素進(jìn)行分組并且將所分組的像素設(shè)置為分割的參考區(qū)域。
[0049]在這種情況下，參考變化可以為下述參考值，該參考值被預(yù)設(shè)成確定參考區(qū)域內(nèi)的像素中的具有大的邊緣值變化的像素。
[0050]在這種情況下，圖像修補(bǔ)組設(shè)置單元120:可以確定參考區(qū)域內(nèi)的像素值是否落入與參考像素值相似的值的預(yù)設(shè)范圍內(nèi)；以及可以將落入相似的范圍內(nèi)的像素設(shè)置為相同的圖像修補(bǔ)組。
[0051]在這種情況下，參考像素值可以為下述參考值，該參考值被預(yù)設(shè)成確定參考區(qū)域內(nèi)的像素中的具有相似的像素值的像素。
[0052]在這種情況下，參考像素值可以為下述參考值，該參考值使用像素值的分布直方圖被預(yù)設(shè)成具有預(yù)定分布或較高的分布的像素值。
[0053]在這種情況下，圖像修補(bǔ)組設(shè)置單元120可以使用參考區(qū)域的分割邊界線的圖案來對目標(biāo)區(qū)域進(jìn)行分割。
[0054]例如，當(dāng)參考區(qū)域的分割邊界線為直線圖案時，圖像修補(bǔ)組設(shè)置單元120可以將目標(biāo)區(qū)域分割成直線圖案，以及當(dāng)參考區(qū)域的分割邊界線為鋸齒形(zigzag)圖案時，圖像修補(bǔ)組設(shè)置單元120還可以將目標(biāo)區(qū)域分割成鋸齒形圖案。
[0055]在這種情況下，圖像修補(bǔ)組設(shè)置單元120可以包括組設(shè)置生成單元，該組設(shè)置生成單元被配置成基于圖像修補(bǔ)組的數(shù)目以不同的方式生成組設(shè)置。
[0056]在這種情況下，組設(shè)置是其中已經(jīng)以各種方式設(shè)置用于分割相同的目標(biāo)區(qū)域和參考區(qū)域的方法的設(shè)置。
[0057]在這種情況下，組設(shè)置生成單元可以生成第一組設(shè)置以及可以生成第二組設(shè)置，在第一組設(shè)置中，圖像修補(bǔ)組的數(shù)目已經(jīng)被設(shè)置成分割的第一數(shù)目，在第二組設(shè)置中，圖像修補(bǔ)組的數(shù)目已經(jīng)被設(shè)置成分割的第二數(shù)目，分割的第二數(shù)目與分割的第一數(shù)目不同。
[0058]例如，組設(shè)置生成單元可以生成第一組設(shè)置和第二組設(shè)置，在第一組設(shè)置中，圖像修補(bǔ)組的數(shù)目已經(jīng)被設(shè)置成2個分割，在第二組設(shè)置中，圖像修補(bǔ)組的數(shù)目已經(jīng)被設(shè)置成3個分割。
[0059]在這種情況下，當(dāng)?shù)谝唤M設(shè)置的圖像修補(bǔ)組的數(shù)目超過組的預(yù)設(shè)參考數(shù)目時，組設(shè)置生成單元還可以生成其中圖像修補(bǔ)組的數(shù)目等于或小于組的參考數(shù)目的第二組設(shè)置。
[0060]在這種情況下，組的參考數(shù)目可以為圖像修補(bǔ)組的數(shù)目的上限值，該上限值被預(yù)設(shè)成限制分割成過大的數(shù)目的圖像修補(bǔ)組。
[0061 ] 例如，當(dāng)?shù)谝唤M設(shè)置的圖像修補(bǔ)組的數(shù)目超過6即組的預(yù)設(shè)參考數(shù)目時，組設(shè)置生成單元還可以生成其中圖像修補(bǔ)組的數(shù)目等于或小于6的第二組設(shè)置。
[0062]在這種情況下，當(dāng)分割的第一數(shù)目超過分割的預(yù)設(shè)參考數(shù)目時，組設(shè)置生成單元可以通過對第一組設(shè)置的圖像修補(bǔ)組中的任何兩個或更多個圖像修補(bǔ)組進(jìn)行合并，生成第二分割設(shè)置。
[0063]例如，當(dāng)組的參考數(shù)目為6并且第一組設(shè)置的圖像修補(bǔ)組的數(shù)目為7時，組設(shè)置生成單元可以通過對第一組設(shè)置的圖像修補(bǔ)組中的任何兩個圖像修補(bǔ)組進(jìn)行合并來生成具有總共6個圖像修補(bǔ)組的第二組設(shè)置。
[0064]在這種情況下，組設(shè)置生成單元可以對其中相應(yīng)的圖像修補(bǔ)組的代表像素值相似的組進(jìn)行合并。
[0065]圖像修補(bǔ)單元130進(jìn)行分割圖像修補(bǔ)和非分割圖像修補(bǔ)，分割圖像修補(bǔ)適于以圖像修補(bǔ)組為單位使用分割的參考區(qū)域?qū)Ψ指畹哪繕?biāo)區(qū)域進(jìn)行圖像修補(bǔ)，非分割圖像修補(bǔ)適于使用參考區(qū)域?qū)δ繕?biāo)區(qū)域進(jìn)行圖像修補(bǔ)。
[0066]在這種情況下，非分割圖像修補(bǔ)是在不對參考區(qū)域和目標(biāo)區(qū)域進(jìn)行分割的情況下進(jìn)行的圖像修補(bǔ)。
[0067]在這種情況下，分割圖像修補(bǔ)可以包括適于對第一組設(shè)置進(jìn)行的第一分割圖像修補(bǔ)以及適于對第二組設(shè)置進(jìn)行的第二分割圖像修補(bǔ)。
[0068]在這種情況下，分割圖像修補(bǔ)的結(jié)果可以包括第一分割圖像修補(bǔ)的結(jié)果和第二分割圖像修補(bǔ)的結(jié)果。
[0069]信息提供單元140將分割圖像修補(bǔ)的結(jié)果、非分割圖像修補(bǔ)的結(jié)果以及與分割圖像修補(bǔ)的結(jié)果和非分割圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息以視覺的形式提供給用戶。
[0070]在這種情況下，信息提供單元還可以以視覺的形式顯示與第一分割圖像修補(bǔ)的結(jié)果和第二分割圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息。
[0071]如上所述，根據(jù)本發(fā)明的實施方式的使用參考區(qū)域的分割的圖像修補(bǔ)裝置可以在不對圖像修補(bǔ)區(qū)域進(jìn)行分割的情況下以及在將圖像修補(bǔ)區(qū)域分割成多個段之后進(jìn)行圖像修補(bǔ)，并且可以將與相應(yīng)的類型的圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息提供給用戶。另夕卜，可以通過將各種類型的圖像修補(bǔ)結(jié)果信息提供給用戶、接收來自用戶的反饋以及將反饋結(jié)合至最終的圖像修補(bǔ)結(jié)果來進(jìn)行更自然的圖像修補(bǔ)。
[0072]以下描述根據(jù)本發(fā)明的實施方式的對區(qū)域的確定。
[0073]圖2是示出了根據(jù)本發(fā)明的用于確定目標(biāo)區(qū)域和參考區(qū)域的步驟的示例的圖。
[0074]參照圖2，在根據(jù)本發(fā)明的用于確定目標(biāo)區(qū)域和參考區(qū)域的步驟處，確定視頻圖像幀200內(nèi)與要被進(jìn)行圖像修補(bǔ)的目標(biāo)對應(yīng)的像素的區(qū)域以及在圖像修補(bǔ)期間被參考的像素的區(qū)域。
[0075]可以看出的是，與要被進(jìn)行圖像修補(bǔ)的目標(biāo)對應(yīng)的像素是目標(biāo)區(qū)域內(nèi)的像素以及目標(biāo)區(qū)域邊界線210內(nèi)部的像素。
[0076]可以看出的是，在圖像修補(bǔ)期間參考的像素是目標(biāo)區(qū)域邊界線210與沿向外的方向距目標(biāo)區(qū)域邊界線210預(yù)設(shè)距離的參考區(qū)域邊界線220之間的像素。
[0077]在這種情況下，圖像修補(bǔ)目標(biāo)區(qū)域或目標(biāo)區(qū)域邊界線210可以由用戶的輸入來確定。
[0078]以下描述根據(jù)本發(fā)明的實施方式的對圖像修補(bǔ)組的設(shè)置。
[0079]圖3至圖6是示出了根據(jù)本發(fā)明的用于設(shè)置圖像修補(bǔ)組的步驟的示例的圖。
[0080]圖3至圖6僅示出了圖2中的目標(biāo)區(qū)域和參考區(qū)域。從圖3至圖6按順序設(shè)置圖像修補(bǔ)組。
[0081]參照圖3，可以看出的是，根據(jù)本發(fā)明的用于設(shè)置圖像修補(bǔ)組的步驟僅涉及目標(biāo)區(qū)域310和參考區(qū)域320。
[0082]參照圖4，在根據(jù)本發(fā)明的用于設(shè)置圖像修補(bǔ)組的步驟處，使用參考區(qū)域320內(nèi)的像素值對參考區(qū)域320進(jìn)行分割。
[0083]也就是說，在根據(jù)本發(fā)明的用于設(shè)置圖像修補(bǔ)組的步驟處，將圖2中與桌子外部的部分對應(yīng)的區(qū)域設(shè)置為第一分割的參考區(qū)域421，并且使用參考區(qū)域320內(nèi)的像素值將與桌子內(nèi)部的部分對應(yīng)的區(qū)域設(shè)置為第二分割的參考區(qū)域422。
[0084]在這種情況下，在根據(jù)本發(fā)明的用于設(shè)置圖像修補(bǔ)組的步驟處，可以確定參考區(qū)域320內(nèi)的像素值是否落入與參考像素值相似的值的預(yù)設(shè)范圍內(nèi)，以及可以將落入相似的值的范圍內(nèi)的像素設(shè)置為相同的分割的參考區(qū)域。
[0085]在這種情況下，參考像素值可以為下述參考值，該參考值被預(yù)設(shè)成確定參考區(qū)域內(nèi)的像素中的具有相似的像素值的像素。
[0086]例如，當(dāng)圖4中與桌子外部的部分對應(yīng)的像素落入與針對桌子外部的部分的參考像素值相似的值的范圍內(nèi)時，可以將與桌子外部的部分對應(yīng)的區(qū)域設(shè)置為第一分割的參考區(qū)域421。
[0087]在這種情況下，參考像素值可以為下述參考值，該參考值使用像素值的分布直方圖被預(yù)設(shè)成具有預(yù)定分布或較高的分布的像素值。
[0088]例如，在圖4中，當(dāng)被預(yù)設(shè)成具有預(yù)定分布或較高的分布的像素值的值使用像素值的分布直方圖被確定成參考像素值時，參考像素值可以包括桌子外部的部分的像素值中的任一像素值以及桌子內(nèi)部的部分的像素值中的任一像素值。
[0089]在這種情況下，在根據(jù)本發(fā)明的用于設(shè)置圖像修補(bǔ)組的步驟處，可以計算參考區(qū)域320內(nèi)的像素的邊緣值，這可以確定邊緣值的變化是否低于預(yù)設(shè)參考變化，并且可以基于確定的結(jié)果對參考區(qū)域進(jìn)行分割。
[0090]在這種情況下，參考變化可以為下述參考值，該參考值被預(yù)設(shè)成確定參考區(qū)域內(nèi)的像素中的具有大的邊緣值變化的像素。
[0091]例如，在圖4中，當(dāng)桌子外部的部分以及桌子以下的部分的邊界線的邊緣值大于參考變化時，與桌子外部的部分對應(yīng)的區(qū)域可以被設(shè)置為第一分割的參考區(qū)域421，并且與桌子內(nèi)部的部分對應(yīng)的區(qū)域可以被設(shè)置為第二分割的參考區(qū)域422。
[0092]參照圖5，在根據(jù)本發(fā)明的用于設(shè)置圖像修補(bǔ)組的步驟處，將目標(biāo)區(qū)域310分割成與分割的參考區(qū)域421和422對應(yīng)。
[0093]在這種情況下，在根據(jù)本發(fā)明的用于設(shè)置圖像修補(bǔ)組的步驟處，可以使用分割的參考區(qū)域421和422之間的邊界線的圖案來對目標(biāo)區(qū)域310進(jìn)行分割。
[0094]例如，在根據(jù)本發(fā)明的用于設(shè)置圖像修補(bǔ)組的步驟處，當(dāng)分割的參考區(qū)域421和422之間的邊界線為直線圖案時，可以將目標(biāo)區(qū)域310分割成具有基于直線圖案的邊界線的分割的目標(biāo)區(qū)域511和512。
[0095]也就是說，在根據(jù)本發(fā)明的用于設(shè)置圖像修補(bǔ)組的步驟處，當(dāng)分割的參考區(qū)域421和422之間的邊界線具有鋸齒形圖案時，可以將目標(biāo)區(qū)域310分割成具有基于鋸齒形圖案的邊界線的分割的目標(biāo)區(qū)域511和512。
[0096]參照圖6，在根據(jù)本發(fā)明的用于設(shè)置圖像修補(bǔ)組的步驟處，分別設(shè)置包括分割的參考區(qū)域421和422以及與分割的參考區(qū)域421和422對應(yīng)的分割的目標(biāo)區(qū)域511和512的相應(yīng)的對的圖像修補(bǔ)組601和602。
[0097]例如，在根據(jù)本發(fā)明的用于設(shè)置圖像修補(bǔ)組的步驟處，當(dāng)分割的參考區(qū)域421與分割的目標(biāo)區(qū)域511彼此對應(yīng)時，可以設(shè)置包括分割的參考區(qū)域421和分割的目標(biāo)區(qū)域511的對的圖像修補(bǔ)組601。
[0098]也就是說，如在圖3至圖6的一系列描述中所描述的，在根據(jù)本發(fā)明的用于設(shè)置圖像修補(bǔ)組的步驟處，可以看出的是，對參考區(qū)域320進(jìn)行分割，對目標(biāo)區(qū)域310相應(yīng)地進(jìn)行分害Ij，并且分別設(shè)置分割的參考區(qū)域421和422以及與分割的參考區(qū)域421和422對應(yīng)的分割的目標(biāo)區(qū)域511和512的相應(yīng)的對的圖像修補(bǔ)組601和602
[0099]以下描述根據(jù)本發(fā)明的實施方式的對組設(shè)置的生成。
[0100]圖7和圖8是示出了根據(jù)本發(fā)明的用于生成組設(shè)置的步驟的示例的圖。
[0101]圖7示出了其中已經(jīng)設(shè)置總共2個圖像修補(bǔ)組的第一組設(shè)置，以及圖8示出了其中已經(jīng)設(shè)置總共4個圖像修補(bǔ)組的第二組設(shè)置。
[0102]在根據(jù)本發(fā)明的用于生成組設(shè)置的步驟處，可以基于圖像修補(bǔ)組的數(shù)目以不同的方式生成組設(shè)置。
[0103]在這種情況下，組設(shè)置是其中已經(jīng)以各種方式設(shè)置用于分割相同的目標(biāo)區(qū)域和參考區(qū)域的方法的設(shè)置。
[0104]參照圖7，可以看出的是，與桌子外部的部分對應(yīng)的第一圖像修補(bǔ)組701和與桌子內(nèi)部的部分對應(yīng)的第二圖像修補(bǔ)組702已經(jīng)被設(shè)置為第一組設(shè)置。
[0105]參照圖8，可以看出的是，基于桌子外部的部分中的背景的顏色的圖像修補(bǔ)組801至803以及桌子內(nèi)部的部分中的第四圖像修補(bǔ)組804已經(jīng)被設(shè)置為第二組設(shè)置。
[0106]如上所述，可以看出的是，在根據(jù)本發(fā)明的用于生成組設(shè)置的步驟處，當(dāng)參考值例如相似的參考值范圍在用于設(shè)置圖像修補(bǔ)組的步驟處變化時生成的各種圖像修補(bǔ)組設(shè)置可以被生成為相應(yīng)的組設(shè)置。
[0107]以下描述根據(jù)本發(fā)明的實施方式的使用參考區(qū)域的分割的圖像修補(bǔ)方法。
[0108]圖9是示出了根據(jù)本發(fā)明的實施方式的使用參考區(qū)域的分割的圖像修補(bǔ)方法的操作流程圖。
[0109]參照圖9，在根據(jù)本發(fā)明的實施方式的使用參考區(qū)域的分割的圖像修補(bǔ)方法中，在步驟S910中確定存在于視頻圖像內(nèi)容內(nèi)的圖像修補(bǔ)目標(biāo)區(qū)域以及包括在距圖像修補(bǔ)目標(biāo)區(qū)域的邊界像素的預(yù)設(shè)距離內(nèi)的像素的參考區(qū)域。
[0110]在這種情況下，圖像修補(bǔ)目標(biāo)區(qū)域是指視頻圖像內(nèi)容內(nèi)要被進(jìn)行圖像修補(bǔ)的區(qū)域。
[0111]在這種情況下，可以由用戶的輸入來確定圖像修補(bǔ)目標(biāo)區(qū)域。
[0112]另外，在根據(jù)本發(fā)明的實施方式的使用參考區(qū)域的分割的圖像修補(bǔ)方法中，在步驟S920中設(shè)置包括分割的參考區(qū)域和分割的目標(biāo)區(qū)域的相應(yīng)的對的圖像修補(bǔ)組，分割的參考區(qū)域通過使用參考區(qū)域內(nèi)的像素值對參考區(qū)域進(jìn)行分割來獲得，分割的目標(biāo)區(qū)域通過將目標(biāo)區(qū)域分割成與分割的參考區(qū)域?qū)?yīng)來獲得。
[0113]在這種情況下，在步驟S920中，可以計算參考區(qū)域內(nèi)的像素的邊緣值，這可以確定邊緣值的變化是否低于預(yù)設(shè)參考變化，并且可以基于確定的結(jié)果對參考區(qū)域內(nèi)的像素進(jìn)行分組并且將所分組的像素設(shè)置為分割的參考區(qū)域。
[0114]在這種情況下，在步驟S920處，可以確定邊緣值的變化是否低于預(yù)設(shè)參考變化，并且可以基于確定的結(jié)果對參考區(qū)域內(nèi)的像素進(jìn)行分組并且將所分組的像素設(shè)置為分割的參考區(qū)域。
[0115]在這種情況下，參考變化可以是下述參考值，該參考值被預(yù)設(shè)成確定參考區(qū)域內(nèi)的像素中的具有大的邊緣值變化的像素。
[0116]在這種情況下，在步驟S920中，可以確定參考區(qū)域內(nèi)的像素值是否落入與參考像素值相似的值的預(yù)設(shè)范圍內(nèi)，并且可以將落入相似的范圍內(nèi)的像素設(shè)置為相同的圖像修補(bǔ)組。
[0117]在這種情況下，參考像素值可以為下述參考值，該參考值被預(yù)設(shè)成確定參考區(qū)域內(nèi)的像素中具有相似的像素值的像素。
[0118]在這種情況下，參考像素值可以為下述參考值，該參考值使用像素值的分布直方圖被預(yù)設(shè)成具有預(yù)定分布或較高的分布的像素值。
[0119]在這種情況下，在步驟S920中，可以使用參考區(qū)域的分割邊界線的圖案來對目標(biāo)區(qū)域進(jìn)行分割。
[0120]例如，在步驟S920中，當(dāng)參考區(qū)域的分割邊界線為直線圖案時，可以將目標(biāo)區(qū)域分割成直線圖案，并且當(dāng)參考區(qū)域的分割邊界線為鋸齒形圖案時，還可以將目標(biāo)區(qū)域分割成鋸齒形圖案。
[0121]在這種情況下，步驟S920還可以包括基于圖像修補(bǔ)組的數(shù)目以不同的方式生成組設(shè)置的步驟。
[0122]在這種情況下，組設(shè)置是其中已經(jīng)以各種方式設(shè)置用于分割相同的目標(biāo)區(qū)域和參考區(qū)域的方法的設(shè)置。
[0123]在這種情況下，在用于生成組設(shè)置的步驟處，可以生成第一組設(shè)置以及可以生成第二組設(shè)置，在第一組設(shè)置中，圖像修補(bǔ)組的數(shù)目已經(jīng)被設(shè)置成分割的第一數(shù)目，在第二組設(shè)置中，圖像修補(bǔ)組的數(shù)目已經(jīng)被設(shè)置成分割的第二數(shù)目，分割的第二數(shù)目與分割的第一數(shù)目不同。
[0124]例如，在用于生成組設(shè)置的步驟處，可以生成第一組設(shè)置以及可以生成第二組設(shè)置，在第一組設(shè)置中，圖像修補(bǔ)組的數(shù)目已經(jīng)被設(shè)置成2個分割，在第二組設(shè)置中，圖像修補(bǔ)組的數(shù)目已經(jīng)被設(shè)置成3個分割。
[0125]在這種情況下，在用于生成組設(shè)置的步驟處，當(dāng)?shù)谝唤M設(shè)置的圖像修補(bǔ)組的數(shù)目超過組的預(yù)設(shè)參考數(shù)目時，還可以生成其中圖像修補(bǔ)組的數(shù)目等于或小于組的參考數(shù)目的第二組設(shè)置。
[0126]在這種情況下，組的參考數(shù)目可以為圖像修補(bǔ)組的數(shù)目的上限值，該上限值被預(yù)設(shè)成限制分割成過大的數(shù)目的圖像修補(bǔ)組。
[0127]例如，在用于生成組設(shè)置的步驟處，當(dāng)?shù)谝唤M設(shè)置的圖像修補(bǔ)組的數(shù)目超過6即組的預(yù)設(shè)參考數(shù)目時，還可以生成其中圖像修補(bǔ)組的數(shù)目等于或小于6的第二組設(shè)置。
[0128]在這種情況下，在用于生成組設(shè)置的步驟處，當(dāng)分割的第一數(shù)目超過分割的預(yù)設(shè)參考數(shù)目時，可以通過對第一組設(shè)置的圖像修補(bǔ)組中的任何兩個或更多個圖像修補(bǔ)組進(jìn)行合并來生成第二分割設(shè)置。
[0129]例如，在用于生成組設(shè)置的步驟處，當(dāng)組的參考數(shù)目為6并且第一組設(shè)置的圖像修補(bǔ)組的數(shù)目為7時，可以通過對第一組設(shè)置的圖像修補(bǔ)組中的任何兩個圖像修補(bǔ)組進(jìn)行合并來生成具有總共6個圖像修補(bǔ)組的第二組設(shè)置。
[0130]在這種情況下，在用于生成組設(shè)置的步驟處，可以對其中相應(yīng)的圖像修補(bǔ)組的代表像素值相似的組進(jìn)行合并。
[0131]另外，在根據(jù)本發(fā)明的實施方式的使用參考區(qū)域的分割的圖像修補(bǔ)方法中，在步驟S930中，進(jìn)行分割圖像修補(bǔ)以及進(jìn)行非分割圖像修補(bǔ)，分割圖像修補(bǔ)適于以圖像修補(bǔ)組為單位使用分割的參考區(qū)域?qū)Ψ指畹哪繕?biāo)區(qū)域進(jìn)行圖像修補(bǔ)，非分割圖像修補(bǔ)適于使用參考區(qū)域?qū)δ繕?biāo)區(qū)域進(jìn)行圖像修補(bǔ)。
[0132]在這種情況下，非分割圖像修補(bǔ)是在不對參考區(qū)域和目標(biāo)區(qū)域進(jìn)行分割的情況下進(jìn)行的圖像修補(bǔ)。
[0133]在這種情況下，分割圖像修補(bǔ)可以包括適于對第一組設(shè)置進(jìn)行的第一分割圖像修補(bǔ)以及適于對第二組設(shè)置進(jìn)行的第二分割圖像修補(bǔ)。
[0134]在這種情況下，分割圖像修補(bǔ)的結(jié)果可以包括第一分割圖像修補(bǔ)的結(jié)果和第二分割圖像修補(bǔ)的結(jié)果。
[0135]另外，在根據(jù)本發(fā)明的實施方式的使用參考區(qū)域的分割的圖像修補(bǔ)方法中，將分割圖像修補(bǔ)的結(jié)果、非分割圖像修補(bǔ)的結(jié)果以及與分割圖像修補(bǔ)的結(jié)果和非分割圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息以視覺的形式提供給用戶。
[0136]在這種情況下，在步驟S540中，還可以以視覺的形式顯示與第一分割圖像修補(bǔ)的結(jié)果和第二分割圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息。
[0137]如上所述，在根據(jù)本發(fā)明的實施方式的使用參考區(qū)域的分割的圖像修補(bǔ)方法中，可以在不對圖像修補(bǔ)區(qū)域進(jìn)行分割的情況下以及在將圖像修補(bǔ)區(qū)域分割成多個段之后進(jìn)行圖像修補(bǔ)，并且可以將與相應(yīng)的類型的圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息提供給用戶。另外，可以通過將各種類型的圖像修補(bǔ)結(jié)果信息提供給用戶、接收來自用戶的反饋以及將反饋結(jié)合至最終的圖像修補(bǔ)結(jié)果中來進(jìn)行更自然的圖像修補(bǔ)。
[0138]可以按照圖9中所示的順序、按照與圖9中所示的順序相反的順序或者同時地進(jìn)行圖9中所示的步驟。
[0139]根據(jù)本發(fā)明的使用參考區(qū)域的分割的圖像修補(bǔ)方法可以被實現(xiàn)為可以由各種計算機(jī)裝置執(zhí)行的程序或智能電話應(yīng)用(app)。在這種情況下，程序或智能電話應(yīng)用可以記錄在計算機(jī)可讀存儲介質(zhì)上。計算機(jī)可讀存儲介質(zhì)可以包括程序指令、數(shù)據(jù)文件以及單獨(dú)地或組合的數(shù)據(jù)結(jié)構(gòu)。記錄在存儲介質(zhì)上的程序指令可以已經(jīng)被具體設(shè)計并且被配置用于本發(fā)明，或者可以是由具有計算機(jī)軟件領(lǐng)域的普通知識的技術(shù)人員已知或可獲得。計算機(jī)可讀存儲介質(zhì)的示例包括具體被配置用于記錄和執(zhí)行程序指令的所有類型的硬件裝置，例如磁介質(zhì)(例如，硬盤、軟盤和磁帶)、光介質(zhì)(例如，壓縮盤(CD)-只讀存儲器(ROM)和數(shù)字多功能盤(DVD))、磁光介質(zhì)(例如，軟光盤)、R0M、隨機(jī)存取存儲器(RAM)和閃存存儲器。程序指令的示例包括機(jī)器代碼例如由編譯器創(chuàng)建的代碼以及由計算機(jī)使用解析器可執(zhí)行的高級語言代碼。這些硬件裝置可以被配置成操作為一個或更多個軟件模塊以進(jìn)行本發(fā)明的操作，并且反之亦然。
[0140]根據(jù)本發(fā)明的使用參考區(qū)域的分割的圖像修補(bǔ)裝置和方法不限于上述實施方式的配置和方法，而且實施方式中的一些實施方式或所有實施方式可以被配置成選擇性地被組合，使得可以以各種方式來修改各實施方式。
[0141]工業(yè)應(yīng)用
[0142]根據(jù)本發(fā)明，在不對圖像修補(bǔ)區(qū)域進(jìn)行分割的情況下以及在將圖像修補(bǔ)區(qū)域分割成多個段之后進(jìn)行圖像修補(bǔ)，并且可以將與相應(yīng)的類型的圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息提供給用戶，從而克服其中當(dāng)在單個模式下進(jìn)行圖像修補(bǔ)時發(fā)生難以應(yīng)付的圖像修補(bǔ)結(jié)果的問題。具體地，當(dāng)將其中虛擬間接廣告的興趣隨著廣告市場的規(guī)模的近期增長而線性地增大的趨勢以及圖像修補(bǔ)技術(shù)是非常重要的事實考慮在內(nèi)時，根據(jù)本發(fā)明的使用參考區(qū)域的分割的圖像修補(bǔ)裝置和方法的利用率將會更高，虛擬間接廣告通過在戲劇或體育廣播中插入廣告項目的圖像來增大廣告效應(yīng)，圖像修補(bǔ)技術(shù)將虛擬圖像自然地插入至先前生成的視頻中或者清除先前生成的視頻的圖像中的一部分并且進(jìn)行自然恢復(fù)以實現(xiàn)與背景的協(xié)調(diào)。
【主權(quán)項】
1.一種使用參考區(qū)域的分割的圖像修補(bǔ)裝置，包括: 區(qū)域確定單元，所述區(qū)域確定單元被配置成確定存在于視頻圖像內(nèi)容內(nèi)的圖像修補(bǔ)目標(biāo)區(qū)域以及包括存在于距所述圖像修補(bǔ)目標(biāo)區(qū)域的邊界像素的預(yù)設(shè)范圍內(nèi)的像素的參考區(qū)域； 圖像修補(bǔ)組設(shè)置單元，所述圖像修補(bǔ)組設(shè)置單元被配置成設(shè)置包括分割的參考區(qū)域和分割的目標(biāo)區(qū)域的相應(yīng)的對的圖像修補(bǔ)組，所述分割的參考區(qū)域通過使用所述參考區(qū)域內(nèi)的像素值對所述參考區(qū)域進(jìn)行分割來獲得，所述分割的目標(biāo)區(qū)域通過將所述目標(biāo)區(qū)域分割成與所述分割的參考區(qū)域?qū)?yīng)來獲得； 圖像修補(bǔ)單元，所述圖像修補(bǔ)單元被配置成進(jìn)行分割圖像修補(bǔ)和非分割圖像修補(bǔ)，所述分割圖像修補(bǔ)適于以圖像修補(bǔ)組為單位、使用所述分割的參考區(qū)域來對分割的目標(biāo)區(qū)域進(jìn)行圖像修補(bǔ)，所述非分割圖像修補(bǔ)適于使用所述參考區(qū)域來對所述目標(biāo)區(qū)域進(jìn)行圖像修補(bǔ)；以及 信息提供單元，所述信息提供單元被配置成將所述分割圖像修補(bǔ)的結(jié)果、所述非分割圖像修補(bǔ)的結(jié)果、以及與所述分割圖像修補(bǔ)的結(jié)果和所述非分割圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息以視覺的形式提供給用戶。2.根據(jù)權(quán)利要求1所述的圖像修補(bǔ)裝置，其中，所述圖像修補(bǔ)組設(shè)置單元還包括組設(shè)置生成單元，所述組設(shè)置生成單元被配置成基于圖像修補(bǔ)組的數(shù)目以不同的方式生成組設(shè)置； 其中，所述組設(shè)置生成單元生成第一組設(shè)置以及生成第二組設(shè)置，在所述第一組設(shè)置中，圖像修補(bǔ)組的數(shù)目已經(jīng)被設(shè)置成分割的第一數(shù)目，在所述第二組設(shè)置中，圖像修補(bǔ)組的數(shù)目已經(jīng)被設(shè)置成分割的第二數(shù)目，分割的所述第二數(shù)目與分割的所述第一數(shù)目不同。3.根據(jù)權(quán)利要求2所述的圖像修補(bǔ)裝置，其中，所述分割圖像修補(bǔ)包括適于對所述第一組設(shè)置進(jìn)行的第一分割圖像修補(bǔ)以及適于對所述第二組設(shè)置進(jìn)行的第二分割圖像修補(bǔ)。4.根據(jù)權(quán)利要求3所述的圖像修補(bǔ)裝置，其中，所述分割圖像修補(bǔ)的結(jié)果包括所述第一分割圖像修補(bǔ)的結(jié)果和所述第二分割圖像修補(bǔ)的結(jié)果。5.根據(jù)權(quán)利要求4所述的圖像修補(bǔ)裝置，其中，所述信息提供單元還以視覺的形式顯示與所述第一分割圖像修補(bǔ)的結(jié)果和所述第二分割圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息。6.根據(jù)權(quán)利要求5所述的圖像修補(bǔ)裝置，其中，當(dāng)所述第一組設(shè)置的圖像修補(bǔ)組的數(shù)目超過組的預(yù)設(shè)參考數(shù)目時，所述組設(shè)置生成單元還生成其中圖像修補(bǔ)組的數(shù)目等于或小于組的參考數(shù)目的第二組設(shè)置。7.根據(jù)權(quán)利要求6所述的圖像修補(bǔ)裝置，其中，當(dāng)分割的所述第一數(shù)目超過分割的預(yù)設(shè)參考數(shù)目時，所述組設(shè)置生成單元通過對所述第一組設(shè)置的圖像修補(bǔ)組中的任何兩個或更多個圖像修補(bǔ)組進(jìn)行合并來生成所述第二分割設(shè)置。8.根據(jù)權(quán)利要求7所述的圖像修補(bǔ)裝置，其中，所述圖像修補(bǔ)組設(shè)置單元:計算所述參考區(qū)域內(nèi)的像素的邊緣值;確定所述邊緣值的變化是否低于預(yù)設(shè)參考變化；以及基于確定的結(jié)果對所述參考區(qū)域內(nèi)的像素進(jìn)行分組并且將所分組的像素設(shè)置為所述分割的參考區(qū)域。9.根據(jù)權(quán)利要求8所述的圖像修補(bǔ)裝置，其中，所述圖像修補(bǔ)組設(shè)置單元:確定邊緣值的所述變化是否低于所述預(yù)設(shè)參考變化；以及基于確定的結(jié)果將所述參考區(qū)域內(nèi)的像素進(jìn)行分組并且將所分組的像素設(shè)置為所述分割的參考區(qū)域。10.根據(jù)權(quán)利要求7所述的圖像修補(bǔ)裝置，其中，所述圖像修補(bǔ)組設(shè)置單元確定所述參考區(qū)域內(nèi)的像素值是否落入與參考像素值相似的值的預(yù)設(shè)范圍內(nèi)，并且將落入相似的范圍內(nèi)的像素設(shè)置為相同的圖像修補(bǔ)組。11.根據(jù)權(quán)利要求7所述的圖像修補(bǔ)裝置，其中，所述圖像修補(bǔ)組設(shè)置單元使用所述參考區(qū)域的分割邊界線的圖案對所述目標(biāo)區(qū)域進(jìn)行分割。12.—種使用參考區(qū)域的分割的圖像修補(bǔ)方法，包括: 確定存在于視頻圖像內(nèi)容內(nèi)的圖像修補(bǔ)目標(biāo)區(qū)域以及包括存在于距所述圖像修補(bǔ)目標(biāo)區(qū)域的邊界像素的預(yù)設(shè)范圍內(nèi)的像素的參考區(qū)域； 設(shè)置包括分割的參考區(qū)域和分割的目標(biāo)區(qū)域的相應(yīng)的對的圖像修補(bǔ)組，所述分割的參考區(qū)域通過使用所述參考區(qū)域內(nèi)的像素值對所述參考區(qū)域進(jìn)行分割來獲得，所述分割的目標(biāo)區(qū)域通過將所述目標(biāo)區(qū)域分割成與所述分割的參考區(qū)域?qū)?yīng)來獲得； 進(jìn)行分割圖像修補(bǔ)和非分割圖像修補(bǔ)，所述分割圖像修補(bǔ)適于以圖像修補(bǔ)組為單位、使用所述分割的參考區(qū)域來對分割的目標(biāo)區(qū)域進(jìn)行圖像修補(bǔ)，所述非分割圖像修補(bǔ)適于使用所述參考區(qū)域來對所述目標(biāo)區(qū)域進(jìn)行圖像修補(bǔ)；以及 將所述分割圖像修補(bǔ)的結(jié)果、所述非分割圖像修補(bǔ)的結(jié)果、以及與所述分割圖像修補(bǔ)的結(jié)果和所述非分割圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息以視覺的形式提供給用戶。13.根據(jù)權(quán)利要求12所述的圖像修補(bǔ)方法，其中，設(shè)置所述圖像修補(bǔ)組還包括基于圖像修補(bǔ)組的數(shù)目以不同的方式生成組設(shè)置； 其中，生成所述組設(shè)置包括生成第一組設(shè)置以及生成第二組設(shè)置，在所述第一組設(shè)置中，圖像修補(bǔ)組的數(shù)目已經(jīng)被設(shè)置成分割的第一數(shù)目，在所述第二組設(shè)置中，圖像修補(bǔ)組的數(shù)目已經(jīng)被設(shè)置成分割的第二數(shù)目，分割的所述第二數(shù)目與分割的所述第一數(shù)目不同。14.根據(jù)權(quán)利要求13所述的圖像修補(bǔ)方法，其中，所述分割圖像修補(bǔ)包括適于對所述第一組設(shè)置進(jìn)行的第一分割圖像修補(bǔ)以及適于對所述第二組設(shè)置進(jìn)行的第二分割圖像修補(bǔ)。15.根據(jù)權(quán)利要求14所述的圖像修補(bǔ)方法，其中，所述分割圖像修補(bǔ)的結(jié)果包括所述第一分割圖像修補(bǔ)的結(jié)果和所述第二分割圖像修補(bǔ)的結(jié)果。16.根據(jù)權(quán)利要求15所述的圖像修補(bǔ)方法，其中，提供與所述差異有關(guān)的信息包括還以視覺的形式顯示與所述第一分割圖像修補(bǔ)的結(jié)果和所述第二分割圖像修補(bǔ)的結(jié)果之間的差異有關(guān)的信息。17.根據(jù)權(quán)利要求16所述的圖像修補(bǔ)方法，其中，生成所述組設(shè)置包括:當(dāng)所述第一組設(shè)置的圖像修補(bǔ)組的數(shù)目超過組的預(yù)設(shè)參考數(shù)目時，還生成其中圖像修補(bǔ)組的數(shù)目等于或小于組的參考數(shù)目的所述第二組設(shè)置。18.根據(jù)權(quán)利要求17所述的圖像修補(bǔ)方法，其中，生成所述組設(shè)置包括:當(dāng)分割的所述第一數(shù)目超過分割的預(yù)設(shè)參考數(shù)目時，通過對所述第一組設(shè)置的圖像修補(bǔ)組中的任何兩個或更多個圖像修補(bǔ)組進(jìn)行合并來生成所述第二分割設(shè)置。19.一種存儲有程序的存儲介質(zhì)，所述程序用于執(zhí)行根據(jù)權(quán)利要求12至18中任一項所述的方法。
【文檔編號】G06T1/00GK105874504SQ201480072211
【公開日】2016年8月17日
【申請日】2014年10月22日
【發(fā)明人】李秀瑸, 申亨哲, 韓柱賢, 全柄璣
【申請人】Sk普蘭尼特有限公司