對圖像中多邊形進行檢測的方法及裝置的制造方法
【專利摘要】本公開揭示了一種對圖像中多邊形進行檢測的方法及裝置，屬于圖片處理領(lǐng)域。所述對圖像中多邊形進行檢測的方法包括：根據(jù)特征點在第i幀圖像中的坐標以及在第i+1幀圖像中的坐標，計算變換方程中參數(shù)的取值；利用該取值對變換方程中的參數(shù)進行賦值，根據(jù)賦值后的變換方程和檢測出的指定類型多邊形的頂點在第i幀圖像中的坐標，計算指定類型多邊形的頂點在第i+1幀圖像中的坐標。本公開解決了智能設(shè)備僅適用于處理為數(shù)不多的圖片的情況，而對于多張圖片(比如視頻)的處理，則無法及時向用戶反饋圖像的邊界識別后的結(jié)果的問題；達到了在對視頻處理時，實時輸出指定類型多邊形的坐標，及時向用戶反饋圖像中多邊形進行邊界識別后的結(jié)果。
【專利說明】
對圖像中多邊形進行檢測的方法及裝置
技術(shù)領(lǐng)域
[0001] 本公開設(shè)及圖片處理領(lǐng)域，特別設(shè)及一種對圖像中多邊形進行檢測的方法及裝 置。
【背景技術(shù)】
[0002] 目前，用戶可W使用智能設(shè)備當成掃描儀，對拍攝后圖片中的文檔、證件、海報等 圖像進行邊界識別。
[0003] 圖像的邊界識別是智能設(shè)備對圖像進行全圖檢測的過程，而智能設(shè)備的計算能力 有限，在進行單張圖片的邊界識別時所花的處理時間較長，因此僅適用于處理為數(shù)不多的 圖片的情況，而對于多張圖片（比如視頻）的處理，則無法及時向用戶反饋圖像的邊界識別 后的結(jié)果。

【發(fā)明內(nèi)容】

[0004] 本公開提供一種對圖像中多邊形進行檢測的方法及裝置。所述技術(shù)方案如下：
[0005] 根據(jù)本公開實施例的第一方面，提供一種對圖像中多邊形進行檢測的方法，應(yīng)用 于智能設(shè)備中，所述方法包括:對于視頻中任意相鄰的第i帖圖像和第i+1帖圖像，對所述第 i帖圖像進行特征點檢測，得到所述第i帖圖像中特征點的坐標;對所述第i帖圖像中特征點 的坐標進行跟蹤，得到所述特征點在所述第i+1帖圖像中的坐標;根據(jù)所述特征點在所述第 i帖圖像中的坐標W及在所述第i+1帖圖像中的坐標，計算變換方程中參數(shù)的取值，所述變 換方程用于根據(jù)所述第i帖圖像中像素點的坐標計算所述像素點在所述第i帖圖像中的坐 標;利用所述取值對所述變換方程中的所述參數(shù)進行賦值，根據(jù)賦值后的所述變換方程和 檢測出的指定類型多邊形的頂點在所述第i帖圖像中的坐標，計算所述指定類型多邊形的 頂點在所述第i + 1帖圖像中的坐標。通過根據(jù)特征點在第i帖圖像中的坐標W及在第i+1帖 圖像中的坐標，計算變換方程中參數(shù)的取值，再根據(jù)參數(shù)被賦值后的變換方程和檢測出的 指定類型多邊形的頂點在所述第i帖圖像中的坐標，計算指定類型多邊形的頂點在第i+1帖 圖像中的坐標，由于不需要對第i + 1帖圖像進行全圖掃描，而是通過計算得到第i + 1帖圖像 中的指定類型多邊形的頂點的坐標;解決了智能設(shè)備僅適用于處理為數(shù)不多的圖片的情 況，而對于多張圖片（比如視頻）的處理，則無法及時向用戶反饋圖像的邊界識別后的結(jié)果 的問題;達到了在對視頻處理時，實時輸出指定類型多邊形的坐標，及時向用戶反饋圖像中 多邊形進行邊界識別后的結(jié)果。
[0006] 可選的，所述方法還包括：當所述第i帖圖像為所述視頻中的第一帖圖像時，對所 述第i帖圖像進行指定類型多邊形的檢測，獲取所述第i帖圖像中檢測出的指定類型多邊形 的頂點的坐標。
[0007] 可選的，所述計算所述指定類型多邊形的頂點在所述第i+1帖圖像中的坐標之后， 所述方法還包括:根據(jù)所述指定類型多邊形的頂點在所述第i+1帖圖像中的坐標，得到所述 指定類型多邊形在所述第i+1帖圖像中的初選邊;對于所述指定類型多邊形在所述第i+1帖 圖像中的每條初選邊，提取所述初選邊所在的圖像塊，所述圖像塊包含所述指定類型多邊 形的一條初選邊;對于每個圖像塊，對所述圖像塊中的圖像進行直線檢測，獲取所述圖像塊 中檢測到的線段W及所述線段對應(yīng)的端點坐標;確定出所述圖像塊中的標準線段，將所述 標準線段作為所述指定類型多邊形在所述第i+1帖圖像中的一條優(yōu)選邊;根據(jù)各個圖像塊 所對應(yīng)的優(yōu)選邊，確定出所述第i+1帖圖像中的優(yōu)選指定類型多邊形。通過提取第i+1帖圖 像中指定類型多邊形的初選邊所在的圖像塊，檢測圖像塊中是否存在比計算得到的初選邊 更為準確的優(yōu)選邊，根據(jù)優(yōu)選邊確定出第i+1帖圖像中的優(yōu)選指定類型多邊形，由于僅通過 計算來獲取第i+1帖圖像中指定類型多邊形的坐標，可能會存在誤差，對計算后得到的指定 類型多邊形的各條邊所在的圖像塊進行進一步的直線檢測，使得優(yōu)選出的優(yōu)選指定類型多 邊形的坐標更為精準，且智能設(shè)備僅需要在圖像的指定范圍內(nèi)進行直線檢測，因此還可W 提高智能設(shè)備判定優(yōu)選邊速度。
[0008] 可選的，所述確定出所述圖像塊中的標準線段，包括:對于所述圖像塊中檢測到的 任一條線段，計算所述線段與所述圖像塊中的初選邊的夾角，篩選出夾角小于預定夾角闊 值的線段;將篩選出的線段中長度最長的線段作為所述圖像塊中的標準線段。通過選取圖 像塊中與初選邊基本平行的邊中長度最長作為圖像塊中的標準線段，由于標準線段是基于 同一圖像塊中的初選邊角度進行選取的，因此所選取的標準線段可W替代初選邊作為指定 類型多邊形的優(yōu)選邊。
[0009] 可選的，所述確定出所述第i+1帖圖像中的優(yōu)選指定類型多邊形之后，所述方法還 包括:計算所述第i+1帖圖像中所述優(yōu)選指定類型多邊形各個內(nèi)角的角度；當各個內(nèi)角中存 在至少一個內(nèi)角的角度未位于預定角度范圍內(nèi)時，判定所述優(yōu)選指定類型多邊形不符合標 準;和/或，計算所述第i+1帖圖像中所述指定類型多邊形的面積，W及所述第i+1帖圖像中 所述優(yōu)選指定類型多邊形與所述第i+1帖圖像中所述指定類型多邊形的交集面積;計算出 所述交集面積占所述第i+1帖圖像中所述指定類型多邊形的面積的比例；當所述比例未達 到預定比例闊值時，判定所述優(yōu)選指定類型多邊形不符合標準。通過將各個內(nèi)角中存在至 少一個內(nèi)角的角度未位于預定角度范圍內(nèi)的優(yōu)選指定類型多邊形，和/或，將覆蓋指定類型 的多邊形的部分較少的優(yōu)選指定類型的多邊形判定為不符合標準，由于可W通過計算優(yōu)選 指定類型的多邊形的內(nèi)角角度和計算優(yōu)選指定類型多邊形覆蓋指定類型多邊形的范圍兩 種方法，來判定優(yōu)選指定類型多邊形是否存在較大誤差，因此當通過計算得到指定類型多 邊形的坐標誤差較大時，對該指定多邊形的初選邊所在的圖像塊進行直線檢測得到的優(yōu)選 邊會產(chǎn)生較大誤差，導致在基于指定類型多邊形進行進一步優(yōu)選得到的優(yōu)選指定類型多邊 形也將存在較大誤差。
[0010] 可選的，所述方法還包括：當所述優(yōu)選指定類型多邊形符合標準時，將所述優(yōu)選指 定類型多邊形的頂點坐標替換所述第i+1帖圖像中所述指定類型多邊形的頂點的坐標；當 所述優(yōu)選指定類型多邊形不符合標準時，對所述第i+1帖圖像進行指定類型多邊形檢測，獲 取所述第i+1帖圖像中檢測出的指定類型多邊形的頂點的坐標。由于當不符合標準的優(yōu)選 指定類型多邊形時，說明指定類型多邊形的坐標計算誤差較大，因此將對第i+1帖圖像進行 指定類型多邊形檢測的方式來獲取第i+1帖中指定類型多邊形的頂點的坐標，來準確獲取 第i+1帖中指定類型多邊形的頂點的坐標。
[0011] 根據(jù)本公開實施例的第二方面，提供一種對圖像中多邊形進行檢測的裝置，應(yīng)用 于智能設(shè)備中，所述裝置包括:檢測模塊，被配置為對于視頻中任意相鄰的第i帖圖像和第i +1帖圖像，對所述第i帖圖像進行特征點檢測，得到所述第i帖圖像中特征點的坐標;跟蹤模 塊，被配置為對所述檢測模塊檢測的所述第i帖圖像中特征點的坐標進行跟蹤，得到所述特 征點在所述第i+1帖圖像中的坐標;第一計算模塊，被配置為根據(jù)所述特征點在所述檢測模 塊檢測的所述第i帖圖像中的坐標W及在所述跟蹤模塊跟蹤的所述第i+1帖圖像中的坐標， 計算變換方程中參數(shù)的取值，所述變換方程用于根據(jù)所述第i帖圖像中像素點的坐標計算 所述像素點在所述第i帖圖像中的坐標;第二計算模塊，被配置為利用所述第一計算模塊計 算的所述取值對所述變換方程中的所述參數(shù)進行賦值，根據(jù)賦值后的所述變換方程和檢測 出的指定類型多邊形的頂點在所述第i帖圖像中的坐標，計算所述指定類型多邊形的頂點 在所述第i+1帖圖像中的坐標。
[0012] 可選的，所述裝置還包括:第一獲取模塊，被配置為當所述第i帖圖像為所述視頻 中的第一帖圖像時，對所述第i帖圖像進行指定類型多邊形的檢測，獲取所述第i帖圖像中 檢測出的指定類型多邊形的頂點的坐標。
[0013] 可選的，所述裝置還包括:第二獲取模塊，被配置為所述第二計算模塊計算計算所 述指定類型多邊形的頂點在所述第i+1帖圖像中的坐標之后，根據(jù)所述指定類型多邊形的 頂點在所述第i+1帖圖像中的坐標，得到所述指定類型多邊形在所述第i+1帖圖像中的初選 邊;提取模塊，被配置為對于所述第二獲取模塊獲取的所述指定類型多邊形在所述第i+1帖 圖像中的每條初選邊，提取所述初選邊所在的圖像塊，所述圖像塊包含所述指定類型多邊 形的一條初選邊;第一確定模塊，被配置為對于所述提取模塊提取的每個圖像塊，對所述圖 像塊中的圖像進行直線檢測，獲取所述圖像塊中檢測到的線段W及所述線段對應(yīng)的端點坐 標;確定出所述圖像塊中的標準線段，將所述標準線段作為所述指定類型多邊形在所述第i +1帖圖像中的一條優(yōu)選邊;第二確定模塊，被配置為根據(jù)所述第一確定模塊確定的各個圖 像塊所對應(yīng)的優(yōu)選邊，確定出所述第i+1帖圖像中的優(yōu)選指定類型多邊形。
[0014] 可選的，所述第一確定模塊，還被配置為：對于所述圖像塊中檢測到的任一條線 段，計算所述線段與所述圖像塊中的初選邊的夾角，篩選出夾角小于預定夾角闊值的線段； 將篩選出的線段中長度最長的線段作為所述圖像塊中的標準線段。
[0015] 可選的，所述裝置還包括:第一判定模塊，被配置為所述第二確定模塊確定出所述 第i+1帖圖像中的優(yōu)選指定類型多邊形之后，計算所述第i+1帖圖像中所述優(yōu)選指定類型多 邊形各個內(nèi)角的角度；當各個內(nèi)角中存在至少一個內(nèi)角的角度未位于預定角度范圍內(nèi)時， 判定所述優(yōu)選指定類型多邊形不符合標準;第二判定模塊，被配置為計算所述第i+1帖圖像 中所述指定類型多邊形的面積，W及所述第i+1帖圖像中所述優(yōu)選指定類型多邊形與所述 第i+1帖圖像中所述指定類型多邊形的交集面積;計算出所述交集面積占所述第i+1帖圖像 中所述指定類型多邊形的面積的比例；當所述比例未達到預定比例闊值時，判定所述優(yōu)選 指定類型多邊形不符合標準。
[0016] 可選的，所述裝置還包括:替換模塊，被配置為當所述第二確定模塊確定的所述優(yōu) 選指定類型多邊形符合標準時，將所述優(yōu)選指定類型多邊形的頂點坐標替換所述第i+1帖 圖像中所述指定類型多邊形的頂點的坐標;第=獲取模塊，被配置為當所述第二確定模塊 確定出所述優(yōu)選指定類型多邊形不符合標準時，對所述第i+1帖圖像進行指定類型多邊形 檢測，獲取所述第i+1帖圖像中檢測出的指定類型多邊形的頂點的坐標。
[0017]根據(jù)本公開實施例的第=方面，提供一種對圖像中多邊形進行檢測的裝置，應(yīng)用 于智能設(shè)備中，所述裝置包括：
[001引處理器；
[0019] 用于存儲所述處理器可執(zhí)行指令的存儲器；
[0020] 其中，所述處理器被配置為：
[0021] 對于視頻中任意相鄰的第i帖圖像和第i + 1帖圖像，對所述第i帖圖像進行特征點 檢測，得到所述第i帖圖像中特征點的坐標；
[0022] 對所述第i帖圖像中特征點的坐標進行跟蹤，得到所述特征點在所述第i+1帖圖像 中的坐標；
[0023] 根據(jù)所述特征點在所述第i帖圖像中的坐標W及在所述第i+1帖圖像中的坐標，計 算變換方程中參數(shù)的取值，所述變換方程用于根據(jù)所述第i帖圖像中像素點的坐標計算所 述像素點在所述第i帖圖像中的坐標；
[0024] 利用所述取值對所述變換方程中的所述參數(shù)進行賦值，根據(jù)賦值后的所述變換方 程和檢測出的指定類型多邊形的頂點在所述第i帖圖像中的坐標，計算所述指定類型多邊 形的頂點在所述第i+1帖圖像中的坐標。
[0025] 應(yīng)當理解的是，W上的一般描述和后文的細節(jié)描述僅是示例性的，并不能限制本 公開。
【附圖說明】
[0026] 此處的附圖被并入說明書中并構(gòu)成本說明書的一部分，示出了符合本公開的實施 例，并于說明書一起用于解釋本公開的原理。
[0027] 圖IA是根據(jù)一示例性實施例示出的一種對圖像中多邊形進行檢測的方法的流程 圖；
[0028] 圖IB是根據(jù)一示例性實施例示出的對計算得到指定類型多邊形的各條邊進行優(yōu) 化方法的流程圖；
[0029] 圖IC是根據(jù)一示例性實施例示出的提取指定類型多邊形的初選邊所在的圖像塊 的示意圖；
[0030] 圖ID是根據(jù)一示例性實施例示出的提取指定類型多邊形的初選邊所在的圖像塊 的示意圖；
[0031] 圖IE是根據(jù)一示例性實施例示出的對優(yōu)選指定類型多邊形進行誤差判定方法的 流程圖；
[0032] 圖IF是根據(jù)一示例性實施例示出的提取指定類型多邊形的初選邊所在的圖像塊 的示意圖；
[0033] 圖2A是根據(jù)一示例性實施例示出的一種對圖像中多邊形進行檢測的裝置的框圖；
[0034] 圖2B是根據(jù)另一示例性實施例示出的一種對圖像中多邊形進行檢測的裝置的框 圖；
[0035] 圖3是根據(jù)一示例性實施例示出的一種用于對圖像中多邊形進行檢測的裝置的框 圖。
【具體實施方式】
[0036] 運里將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述設(shè)及 附圖時，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。W下示例性實施例 中所描述的實施方式并不代表與本公開相一致的所有實施方式。相反，它們僅是與如所附 權(quán)利要求書中所詳述的、本公開的一些方面相一致的裝置和方法的例子。
[0037] 在實際應(yīng)用中，用戶可W使用智能設(shè)備當成掃描儀，對拍攝后圖片中的文檔、證 件、海報等圖像進行邊界識別。由于圖像的邊界識別是智能設(shè)備對圖像進行全圖檢測的過 程，而智能設(shè)備的計算能力有限，在進行單張圖片的邊界識別時所花的處理時間較長。為了 能加快智能設(shè)備對圖片邊界進行識別的速度，本實施例中智能設(shè)備將不通過全圖檢測來獲 取第i+1帖圖像中指定類型多邊形的頂點的坐標，而是通過計算的方式來獲取第i+1帖圖像 中指定類型多邊形的頂點的坐標，W實現(xiàn)對圖像中多邊形邊界的快速識別。下面結(jié)合圖1A、 圖1B、圖化對圖像中多邊形進行檢測的方法進行描述。
[0038] 圖IA是根據(jù)一示例性實施例示出的一種對圖像中多邊形進行檢測的方法的流程 圖，該對圖像中多邊形進行檢測的方法應(yīng)用于智能設(shè)備中，該智能設(shè)備可W為移動電話，平 板設(shè)備、移動電腦等，如圖IA所示，該對圖像中多邊形進行檢測的方法包括W下步驟。
[0039] 在步驟101中，對于視頻中任意相鄰的第i帖圖像和第i + 1帖圖像，對該第i帖圖像 進行特征點檢測，得到該第i帖圖像中特征點的坐標。
[0040] 運里所講的特征點又稱興趣點、關(guān)鍵點，特征點是指線型要素或面狀要素邊界線 的拐點或折點。相較于圖像的全圖檢測，圖像的特征點檢測的速度更快。
[0041] 角點是圖像中最基本的一種特征點，因此運里所講的特征點檢測方式可W為 Kitchen-Rosenf eld角點檢測J、化；rri S角點檢測、KLT角點檢測W及SUSAN角點檢測等等，本 實施例不限定特征點檢測方式的具體類型。
[0042] 智能設(shè)備在第i帖圖像中建立坐標系后，對該第i帖圖像進行特征點檢測，得到該 第i帖圖像中特征點的坐標。
[0043] 在步驟102中，對第i帖圖像中特征點的坐標進行跟蹤，得到該特征點在第i+1帖圖 像中的坐標。
[0044] 在視頻的連續(xù)圖像帖中，任意相鄰的第i帖圖像和第i+1帖圖像中的圖像移動的范 圍很小，因此可W在第i+1帖圖像中對第i帖圖像中的特征點進行跟蹤，得到該特征點在第i + 1帖圖像中的坐標。具體的，當智能設(shè)備通過特征點檢測獲取到第i帖圖像中的特征點的坐 標后，可W在第i + 1帖圖像中，對第i帖圖像中特征點的坐標的周圍預定范圍內(nèi)進行特征點 的跟蹤，得到該特征點在第i+1帖圖像中的坐標。
[0045] 運里所講的特征點的跟蹤算法可W為化T算法。
[0046] 運里所講的周圍預定范圍可W為W特征點的坐標為中屯、周圍10個像素的范圍，當 然，運里所講的10個像素可W被15個像素、20個像素等替換，本實施例不限定像素的具體數(shù) 量。
[0047] 在步驟103中，根據(jù)特征點在第i帖圖像中的坐標W及在第i+1帖圖像中的坐標，計 算變換方程中參數(shù)的取值。
[0048] 運里所講的變換方程用于根據(jù)第i帖圖像中像素點的坐標計算該像素點在該第i 帖圖像中的坐標。
[0049] 運里所講的變換方程中參數(shù)的取值是指單應(yīng)變換矩陣H中參數(shù)的取值。
[0050] 假設(shè)一個單應(yīng)矩陣是大小為3*3的矩陣H，滿足給定一個點Pi= [Xl，yl，Wl]T，矩陣H 把點Pl映射成一個新的點口2=[枯，72，*2!^ =化1。由于口1和口2都是齊次坐標，口1和口2對應(yīng)的圖 像上的兩個點分別去
[0051] 假設(shè)給定一個單應(yīng)H=化u}，給它的元素乘上同一個數(shù)a,得到的新單應(yīng)地和H作用 相同，因為新單應(yīng)QH無非把齊次點Pl變成了齊次點叩2,叩2和P2對應(yīng)的圖像上的點相同，所 W -個單應(yīng)中只有8個自由元素，一般令右下角的元素 h33=l來歸一化。
[0052] 假設(shè)是求四對對應(yīng)點單應(yīng)矩陣的計算公式，由于8個未知數(shù)需要8個方程來求解， 之所W四對點能夠求解，是因為一對點提供兩個方程。假設(shè)特征點在第i帖圖像中的坐標 [又1，71]哺在第1 + 1帖圖像中的坐標[趴72]\它們的齊次坐標為：山，71，1]\[義2,72，1]哺 h33 = 1帶到公式的H=化ij}，可W推導得到：
[0化3]
[0054] u=[hll hl2 hl3 h21 h22 h23 h31 h32]T
[0055] v=[x2 y2]T
[0056] 進而可W得到等價的矩陣形式:Au = v，其中：
[0057]
公式 Cl)
[005引如果有四對不共線匹配點對，運個方程組就能夠壘到8行，存在唯一解，如果多于 四對點，比如有n對點，方程就壘到化行，用最小二乘法或SVD分解就可W求解H。
[0059] 由于點對中可能存在不少錯誤匹配，因此往往需要使用RANSAC算法剔除錯誤匹配 點對。
[0060] 在步驟104中，利用該取值對變換方程中的參數(shù)進行賦值，根據(jù)賦值后的變換方程 和檢測出的指定類型多邊形的頂點在第i帖圖像中的坐標，計算指定類型多邊形的頂點在 第i+1帖圖像中的坐標。
[0061] 已知特征點在第i帖圖像中的坐標和在第i + 1帖圖像中的坐標后，可W對單應(yīng)H = 化ij}中的參數(shù)進行賦值，得到Au = V中U的各個參數(shù)值，再將檢測出的指定類型多邊形的頂 點在第i帖圖像中的坐標代入(xi，yi)中，利用公式(1)，計算出指定類型多邊形的頂點在第i +1帖圖像中的坐標(X2，y2)。
[0062] 運里所講的指定類型多邊形可W =角形、矩形和五邊形等，本實施例不限定指定 類型多邊形的邊數(shù)。
[0063] 需要說明的是，當?shù)趇帖圖像為視頻中的第一帖圖像時，對該第i帖圖像進行指定 類型多邊形的檢測，獲取該第i帖圖像中檢測出的指定類型多邊形的頂點的坐標。
[0064] 由于指定類型多邊形的頂點在第i帖圖像中的坐標是根據(jù)該頂點在第i-1帖圖像 中的坐標代入本實施例中的計算公式（1)得到的，當?shù)趇帖圖像為視頻中的第一帖圖像時， 無法利用本實施例中的計算公式（I)計算該指定類型多邊形的頂點在第一帖圖像中的坐 標，因此需要對該第一帖圖像進行指定類型多邊形的檢測，獲取該第一帖圖像中檢測出的 指定類型多邊形的頂點的坐標。
[0065] 綜上所述，本公開實施例中提供的對圖像中多邊形進行檢測的方法，通過根據(jù)特 征點在第i帖圖像中的坐標W及在第i + 1帖圖像中的坐標，計算變換方程中參數(shù)的取值，再 根據(jù)參數(shù)被賦值后的變換方程和檢測出的指定類型多邊形的頂點在所述第i帖圖像中的坐 標，計算指定類型多邊形的頂點在第i + 1帖圖像中的坐標，由于不需要對第i + 1帖圖像進行 全圖掃描，而是通過計算得到第i+1帖圖像中的指定類型多邊形的頂點的坐標;解決了智能 設(shè)備僅適用于處理為數(shù)不多的圖片的情況，而對于多張圖片（比如視頻）的處理，則無法及 時向用戶反饋圖像的邊界識別后的結(jié)果的問題;達到了在對視頻處理時，實時輸出指定類 型多邊形的坐標，及時向用戶反饋圖像中多邊形進行邊界識別后的結(jié)果。
[0066] 在一種可能實現(xiàn)的方式中，由于僅通過計算來獲取第i + 1帖圖像中指定類型多邊 形的坐標，可能會存在誤差，對計算后得到的指定類型多邊形的各條邊所在的圖像塊進行 進一步的直線檢測，可W使得智能設(shè)備優(yōu)選出的優(yōu)選指定類型多邊形的坐標更為精準。圖 IB是根據(jù)一示例性實施例示出的對計算得到指定類型多邊形的各條邊進行優(yōu)化方法的流 程圖，如圖IB所示，該對計算得到指定類型多邊形的各條邊進行優(yōu)化方法包括W下步驟。
[0067] 在步驟105中，根據(jù)指定類型多邊形的頂點在第i + 1帖圖像中的坐標，得到該指定 類型多邊形在該第i+1帖圖像中的初選邊。
[0068] 將指定類型多邊形的頂點在第i + 1帖圖像中的坐標相互連接，形成各條線段均不 相交的多邊形，該多邊形即為指定類型多邊形，各個頂點所連接的線段即為指定類型多邊 形的初選邊。
[0069] 根據(jù)指定類型多邊形的頂點在第i + 1帖圖像中的坐標，可W判定出該指定類型多 邊形在第i+1帖圖像中的每條初選邊的端點坐標。
[0070] 在步驟106中，對于指定類型多邊形在第i + 1帖圖像中的每條初選邊，提取該初選 邊所在的圖像塊。
[0071] 運里所講的圖像塊中包含指定類型多邊形的一條初選邊，即該指定類型多邊形有 多少條初選邊，則該指定類型多邊形對應(yīng)有多少個圖像塊。本實施例不限定圖像塊的大小。
[0072] 圖IC是根據(jù)一示例性實施例示出的提取指定類型多邊形的初選邊所在的圖像塊 的示意圖，如圖IC所示，當指定類型多邊形為四邊形時，四邊形20的邊21所在的圖像塊為圖 像塊21曰，邊22所在的圖像塊為圖像塊22曰，邊23所在的圖像塊為圖像塊23曰，邊24所在的圖 像塊為圖像塊24曰。
[0073] 需要說明的是指定類型多邊形的各條初選邊所在的圖像塊的大小可W相同，也可 W不同。
[0074] 需要說明的是，本實施中W圖像塊為矩形進行舉例說明，但本實施例并不限定圖 像塊的具體形狀。
[0075] 在步驟107中，對于每個圖像塊，對圖像塊中的圖像進行直線檢測，獲取該圖像塊 中檢測到的線段W及該線段對應(yīng)的端點坐標;確定出該圖像塊中的標準線段，將該標準線 段作為指定類型多邊形在第i+1帖圖像中的一條優(yōu)選邊。
[0076] 由于通過計算公式得到的指定類型多邊形的各條初選邊的坐標可能會存在誤差， 為了使得指定類型多邊形的各條邊的坐標位置更加精準。對于每個圖像塊，智能設(shè)備可W 根據(jù)指定類型多邊形各條初選邊在第i+1帖圖像中的坐標，對指定類型多邊形的各條初選 邊所在的圖像塊進行直線檢測。
[0077] 由于對圖像塊進行直線檢測后，可能從圖像塊中檢測出各個方向的線段，對于各 個圖像塊中的初選邊來說，與初選邊的方向偏離較大的線段均可判定為干擾線段，因此智 能設(shè)備可W將干擾線段剔除。
[0078] 圖ID是根據(jù)一示例性實施例示出的提取指定類型多邊形的初選邊所在的圖像塊 的示意圖，如圖ID所示，假設(shè)線段a為指定類型多邊形的一條初選邊，對線段a所在的圖像塊 30進行直線檢測后，獲取到線段b、線段C和線段d，其中線段b與線段a平行，線段d與線段a垂 直。由此可知，線段a和線段b之間不存在夾角，線段a和線段d之間的夾角為90°。延長線段C 后使得線段C與線段a相交形成的夾角0，由圖可知夾角0小于90°，因此可W得到，檢測到的 線段與初選邊的夾角越大，該線段與初選邊的方向偏離較大，檢測到的線段與初選邊的夾 角越小，該線段與初選邊的方向偏離較小。因此，當智能設(shè)備獲取該圖像塊中檢測到的線段 W及該線段對應(yīng)的端點坐標后，對于圖像塊中檢測到的任一條線段，計算該線段與該圖像 塊中的初選邊的夾角，篩選出夾角小于預定夾角闊值的線段。
[0079] 優(yōu)選的，將篩選出的線段中長度最長的線段作為該圖像塊中的標準線段。
[0080] 需要說明的是，本實施例中所講的線段與該圖像塊中的初選邊的夾角是指線段與 該圖像塊中的初選邊相交形成的不大于90°的角。
[0081] 在步驟108中，根據(jù)各個圖像塊所對應(yīng)的優(yōu)選邊，確定出第i + 1帖圖像中的優(yōu)選指 定類型多邊形。
[0082] 當指定類型多邊形中各條初選邊所在的圖像塊中均可W確定出優(yōu)選邊時，將各條 優(yōu)選邊首尾相連，形成一個各條線段均不相交的優(yōu)選指定類型多邊形。當指定類型多邊形 中存在至少一條初選邊所在的圖像塊中未確定出優(yōu)選邊時，將未確定出優(yōu)選邊的圖像塊中 的初選邊作為優(yōu)選邊，與其他確定出的優(yōu)選邊首尾相連，形成一個各條線段均不相交的優(yōu) 選指定類型多邊形。
[0083] 在本實施例中，由于僅通過計算來獲取第i+1帖圖像中指定類型多邊形的坐標，可 能會存在誤差，對計算后得到的指定類型多邊形的各條邊所在的圖像塊進行進一步的直線 檢測，使得優(yōu)選出的優(yōu)選指定類型多邊形的坐標更為精準，且智能設(shè)備僅需要在圖像的指 定范圍內(nèi)進行直線檢測，因此還可W提高智能設(shè)備判定優(yōu)選邊速度。
[0084] 在一種可能實現(xiàn)的方式中，當通過計算得到指定類型多邊形的坐標誤差較大時， 對該指定多邊形的初選邊所在的圖像塊進行直線檢測得到的優(yōu)選邊會產(chǎn)生較大誤差，導致 在基于指定類型多邊形進行進一步優(yōu)選得到的優(yōu)選指定類型多邊形也將存在較大誤差。圖 化是根據(jù)一示例性實施例示出的對優(yōu)選指定類型多邊形進行誤差判定方法的流程圖，如圖 化所示，可W通過計算優(yōu)選指定類型的多邊形的內(nèi)角角度和計算優(yōu)選指定類型多邊形覆蓋 指定類型多邊形的范圍兩種方法，來判定優(yōu)選指定類型多邊形是否存在較大誤差，該對優(yōu) 選指定類型多邊形進行誤差判定方法包括W下步驟。
[0085] 第一種，計算優(yōu)選指定類型的多邊形內(nèi)角角度的方法由下述步驟109至步驟110來 實現(xiàn)。
[0086] 在步驟109中，計算第i+1帖圖像中優(yōu)選指定類型多邊形各個內(nèi)角的角度。
[0087] 在步驟110中，當各個內(nèi)角中存在至少一個內(nèi)角的角度未位于預定角度范圍內(nèi)時， 判定該優(yōu)選指定類型多邊形不符合標準。
[0088] 運里所講的預定角度范圍由（預定角度基準+/-誤差允許范圍)得到，其中，預定角 度基準由當指定類型多邊形為內(nèi)角度數(shù)相同的指定類型多邊形時的內(nèi)角度數(shù)決定。指定類 型多邊形的內(nèi)角數(shù)量不同，該指定類型多邊形對應(yīng)的內(nèi)角度數(shù)也不同。當指定類型多邊形 為四邊形時，該指定類型多邊形的預定角度基準為90%該指定類型多邊形對應(yīng)的預定角度 范圍可W為60°至120° (90°+/-30°)，當指定類型多邊形為五邊形時，該指定類型多邊形的 預定角度基準為108°，該指定類型多邊形對應(yīng)的預定角度范圍可W為68°至148° (108°+/- 40° )。本實施例不限定誤差允許范圍的具體度數(shù)。
[0089] 第二種，計算優(yōu)選指定類型多邊形覆蓋指定類型多邊形的范圍的方法由下述步驟 111至步驟113來實現(xiàn)。
[0090] 在步驟111中，計算第i+1帖圖像中該指定類型多邊形的面積，W及該第i+1帖圖像 中該優(yōu)選指定類型多邊形與該第i+1帖圖像中該指定類型多邊形的交集面積。
[0091] 運里所講的第i + 1帖圖像中該優(yōu)選指定類型多邊形與該第i+1帖圖像中該指定類 型多邊形的交集面積是指第i+1帖圖像中該優(yōu)選指定類型多邊形覆蓋該第i + 1帖圖像中該 指定類型多邊形的面積。
[0092] 在步驟112中，計算出該交集面積占該第i+1帖圖像中該指定類型多邊形的面積的 比例。
[0093] 圖IF是根據(jù)一示例性實施例示出的提取指定類型多邊形的初選邊所在的圖像塊 的示意圖，如圖IF所示，假設(shè)該第i + 1帖圖像中優(yōu)選指定類型多邊形40的面積用Sl表示，該 第i+1帖圖像中指定類型多邊形50的面積S2用表示，該優(yōu)選指定類型多邊形40與指定類型 多邊形50的交集60面積用S3表示，則該交集60面積Sl占該第i+1帖圖像中該指定類型多邊 形50的面積的比例為S3/S1。
[0094] 在步驟113中，當比例未達到預定比例闊值時，判定該優(yōu)選指定類型多邊形不符合 標準。
[00%]當該優(yōu)選指定類型多邊形與該指定類型多邊形距離較遠或形狀差異較大時，該優(yōu) 選指定類型多邊形與該指定類型多邊形的交集面積較小，當該優(yōu)選指定類型多邊形與該指 定類型多邊形距離較近或形狀差異較小時，該優(yōu)選指定類型多邊形與該指定類型多邊形的 交集面積較大。因此，當該交集面積占該第i+1帖圖像中該指定類型多邊形的面積的比例未 達到預定比例闊值時，判定該優(yōu)選指定類型多邊形不符合標準。
[0096] 需要說明的是，上述第一種方法(步驟109至步驟110)和第二種方法(步驟111至步 驟113)可W結(jié)合實施，也可W單獨實施。當?shù)谝环N方法和第二種方法結(jié)合實施時，本實施例 不限定兩種方法的具體實施順序。
[0097] 在步驟114中，當優(yōu)選指定類型多邊形符合標準時，將該優(yōu)選指定類型多邊形的頂 點坐標替換第i+1帖圖像中該指定類型多邊形的頂點的坐標。
[0098] 在步驟115中，當優(yōu)選指定類型多邊形不符合標準時，對第i + 1帖圖像進行指定類 型多邊形檢測，獲取該第i+1帖圖像中檢測出的指定類型多邊形的頂點的坐標。
[0099] 當不符合標準的優(yōu)選指定類型多邊形時，說明指定類型多邊形的坐標計算誤差較 大，因此將對第i+1帖圖像進行指定類型多邊形檢測的方式來獲取第i+1帖中指定類型多邊 形的頂點的坐標，來確保可W準確獲取第i+1帖中指定類型多邊形的頂點的坐標。
[0100] 在本實施例中，由于可W通過計算優(yōu)選指定類型的多邊形的內(nèi)角角度和計算優(yōu)選 指定類型多邊形覆蓋指定類型多邊形的范圍兩種方法，來判定優(yōu)選指定類型多邊形是否存 在較大誤差，因此當通過計算得到指定類型多邊形的坐標誤差較大時，對該指定多邊形的 初選邊所在的圖像塊進行直線檢測得到的優(yōu)選邊會產(chǎn)生較大誤差，導致在基于指定類型多 邊形進行進一步優(yōu)選得到的優(yōu)選指定類型多邊形也將存在較大誤差。。
[0101] 下述為本公開裝置實施例，可W用于執(zhí)行本公開方法實施例。對于本公開裝置實 施例中未披露的細節(jié)，請參照本公開方法實施例。
[0102] 圖2A是根據(jù)一示例性實施例示出的一種對圖像中多邊形進行檢測的裝置的框圖， 該對圖像中多邊形進行檢測的裝置應(yīng)用于智能設(shè)備中，該智能設(shè)備可W為移動電話，平板 設(shè)備、移動電腦等，如圖2A所示，該對圖像中多邊形進行檢測的裝置包括但不限于:檢測模 塊201、跟蹤模塊202、第一計算模塊203和第二計算模塊204。
[0103] 檢測模塊201，被配置為對于視頻中任意相鄰的第i帖圖像和第i+1帖圖像，對該第 i帖圖像進行特征點檢測，得到該第i帖圖像中特征點的坐標。
[0104] 運里所講的特征點又稱興趣點、關(guān)鍵點，特征點是指線型要素或面狀要素邊界線 的拐點或折點。相較于圖像的全圖檢測，圖像的特征點檢測的速度更快。
[0105] 角點是圖像中最基本的一種特征點，因此運里所講的特征點檢測方式可W為 Kitchen-Rosenf eld角點檢測J、化；rri S角點檢測、KLT角點檢測W及SUSAN角點檢測等等，本 實施例不限定特征點檢測方式的具體類型。
[0106] 智能設(shè)備在第i帖圖像中建立坐標系后，對該第i帖圖像進行特征點檢測，得到該 第i帖圖像中特征點的坐標。
[0107] 跟蹤模塊202,被配置為對檢測模塊201檢測的第i帖圖像中特征點的坐標進行跟 蹤，得到該特征點在第i+1帖圖像中的坐標。
[0108] 在視頻的連續(xù)圖像帖中，任意相鄰的第i帖圖像和第i+1帖圖像中的圖像移動的范 圍很小，因此可W在第i+1帖圖像中對第i帖圖像中的特征點進行跟蹤，得到該特征點在第i + 1帖圖像中的坐標。具體的，當智能設(shè)備通過特征點檢測獲取到第i帖圖像中的特征點的坐 標后，可W在第i + 1帖圖像中，對第i帖圖像中特征點的坐標的周圍預定范圍內(nèi)進行特征點 的跟蹤，得到該特征點在第i+1帖圖像中的坐標。
[0109] 運里所講的特征點的跟蹤算法可W為化T算法。
[0110] 運里所講的周圍預定范圍可W為W特征點的坐標為中屯、周圍10個像素的范圍，當 然，運里所講的10個像素可W被15個像素、20個像素等替換，本實施例不限定像素的具體數(shù) 量。
[0111] 第一計算模塊203,被配置為根據(jù)特征點在檢測模塊201檢測的第i帖圖像中的坐 標W及在跟蹤模塊202跟蹤的第i + 1帖圖像中的坐標，計算變換方程中參數(shù)的取值，該變換 方程用于根據(jù)第i帖圖像中像素點的坐標計算該像素點在該第i帖圖像中的坐標。
[0112] 運里所講的變換方程中參數(shù)的取值是指單應(yīng)變換矩陣H中參數(shù)的取值。
[0113] 假設(shè)一個單應(yīng)矩陣是大小為3*3的矩陣H，滿足給定一個點pi=[xi，yi，wi]T，矩陣H 把點Pl映射成一個新的點口2=[枯，72，*2!^ =化1。由于口1和口2都是齊次坐標，口1和口2對應(yīng)的圖 像上的兩個點分別是[甘.升]1和[責，-、戶-Ji。
[0114] 假設(shè)給定一個單應(yīng)H=化u}，給它的元素乘上同一個數(shù)a,得到的新單應(yīng)地和H作用 相同，因為新單應(yīng)QH無非把齊次點Pl變成了齊次點叩2,叩2和P2對應(yīng)的圖像上的點相同，所 W -個單應(yīng)中只有8個自由元素，一般令右下角的元素 h33=l來歸一化。
[0115] 假設(shè)是求四對對應(yīng)點單應(yīng)矩陣的計算公式，由于8個未知數(shù)需要8個方程來求解， 之所W四對點能夠求解，是因為一對點提供兩個方程。假設(shè)特征點在第i帖圖像中的坐標 [又1，71]哺在第1 + 1帖圖像中的坐標[趴72]\它們的齊次坐標為：山，71，1]\[義2,72，1]哺 h33 = 1帶到公式的H=化ij}，可W推導得到：
[0116]
[0117] u=[hll hl2 hl3 h21 h22 h23 h31 h32]T [011 引 V=[x2 y2]T
[0119] 進而可W得到等價的矩陣形式:Au = v，其中：
[0120]
:魯式化
[0121] 如果有四對不共線匹配點對，運個方程組就能夠壘到8行，存在唯一解，如果多于 四對點，比如有n對點，方程就壘到化行，用最小二乘法或SVD分解就可W求解H。
[0122] 由于點對中可能存在不少錯誤匹配，因此往往需要使用RANSAC算法剔除錯誤匹配 點對。
[0123] 第二計算模塊204,被配置為利用第一計算模塊203計算的該取值對變換方程中的 參數(shù)進行賦值，根據(jù)賦值后的變換方程和檢測出的指定類型多邊形的頂點在第i帖圖像中 的坐標，計算指定類型多邊形的頂點在第i+1帖圖像中的坐標。
[0124] 已知特征點在第i帖圖像中的坐標和在第i + 1帖圖像中的坐標后，可W對單應(yīng)H = 化ij}中的參數(shù)進行賦值，得到Au = V中U的各個參數(shù)值，再將檢測出的指定類型多邊形的頂 點在第i帖圖像中的坐標代入(xi，yi)中，利用公式(1)，計算出指定類型多邊形的頂點在第i +1帖圖像中的坐標(X2，y2)。
[0125] 運里所講的指定類型多邊形可W =角形、矩形和五邊形等，本實施例不限定指定 類型多邊形的邊數(shù)。
[0126] 在一種可能的實現(xiàn)方式中，請參見圖2B，其是根據(jù)另一示例性實施例示出的一種 對圖像中多邊形進行檢測的裝置的框圖，該對圖像中多邊形進行檢測的裝置應(yīng)用于智能設(shè) 備中，該智能設(shè)備可W為移動電話，平板設(shè)備、移動電腦等，如圖2B所示，該裝置還包括:第 一獲取模塊205。
[0127] 第一獲取模塊205,被配置為當?shù)趇帖圖像為視頻中的第一帖圖像時，對該第i帖圖 像進行指定類型多邊形的檢測，獲取該第i帖圖像中檢測出的指定類型多邊形的頂點的坐 標。
[0128] 由于指定類型多邊形的頂點在第i帖圖像中的坐標是根據(jù)該頂點在第i-1帖圖像 中的坐標代入本實施例中的計算公式（I)得到的，當?shù)趇帖圖像為視頻中的第一帖圖像時， 無法利用本實施例中的計算公式（1)計算該指定類型多邊形的頂點在第一帖圖像中的坐 標，因此需要對該第一帖圖像進行指定類型多邊形的檢測，獲取該第一帖圖像中檢測出的 指定類型多邊形的頂點的坐標。
[0129] 在一種可能的實現(xiàn)方式中，仍舊參見圖2B所示，該裝置還包括:第二獲取模塊206、 提取模塊207、第一確定模塊208和第二確定模塊209。
[0130] 第二獲取模塊206,被配置為第二計算模塊204計算指定類型多邊形的頂點在第i+ 1帖圖像中的坐標之后，根據(jù)該指定類型多邊形的頂點在第i+1帖圖像中的坐標，得到該指 定類型多邊形在該第i+1帖圖像中的初選邊。
[0131] 將指定類型多邊形的頂點在第i + 1帖圖像中的坐標相互連接，形成各條線段均不 相交的多邊形，該多邊形即為指定類型多邊形，各個頂點所連接的線段即為指定類型多邊 形的初選邊。
[0132] 根據(jù)指定類型多邊形的頂點在第i + 1帖圖像中的坐標，可W判定出該指定類型多 邊形在第i+1帖圖像中的每條初選邊的端點坐標。
[0133] 提取模塊207,被配置為對于第二獲取模塊206獲取的指定類型多邊形在第i+1帖 圖像中的每條初選邊，提取該初選邊所在的圖像塊，該圖像塊包含該指定類型多邊形的一 條初選邊。
[0134] 該指定類型多邊形有多少條初選邊，則該指定類型多邊形對應(yīng)有多少個圖像塊。 本實施例不限定圖像塊的大小。
[0135] 需要說明的是指定類型多邊形的各條初選邊所在的圖像塊的大小可W相同，也可 W不同。
[0136] 需要說明的是，本實施中W圖像塊為矩形進行舉例說明，但本實施例并不限定圖 像塊的具體形狀。
[0137] 第一確定模塊208,被配置為對于提取模塊207提取的每個圖像塊，對圖像塊中的 圖像進行直線檢測，獲取該圖像塊中檢測到的線段W及該線段對應(yīng)的端點坐標;確定出該 圖像塊中的標準線段，將該標準線段作為指定類型多邊形在第i+1帖圖像中的一條優(yōu)選邊。
[0138] 由于通過計算公式得到的指定類型多邊形的各條初選邊的坐標可能會存在誤差， 為了使得指定類型多邊形的各條邊的坐標位置更加精準。對于每個圖像塊，智能設(shè)備可W 根據(jù)指定類型多邊形各條初選邊在第i+1帖圖像中的坐標，對指定類型多邊形的各條初選 邊所在的圖像塊進行直線檢測。
[0139] 由于對圖像塊進行直線檢測后，可能從圖像塊中檢測出各個方向的線段，對于各 個圖像塊中的初選邊來說，與初選邊的方向偏離較大的線段均可判定為干擾線段，因此智 能設(shè)備可W將干擾線段剔除。
[0140] 第二確定模塊209,被配置為根據(jù)第一確定模塊20如角定的各個圖像塊所對應(yīng)的優(yōu) 選邊，確定出第i+1帖圖像中的優(yōu)選指定類型多邊形。
[0141] 當指定類型多邊形中各條初選邊所在的圖像塊中均可W確定出優(yōu)選邊時，將各條 優(yōu)選邊首尾相連，形成一個各條線段均不相交的優(yōu)選指定類型多邊形。當指定類型多邊形 中存在至少一條初選邊所在的圖像塊中未確定出優(yōu)選邊時，將未確定出優(yōu)選邊的圖像塊中 的初選邊作為優(yōu)選邊，與其他確定出的優(yōu)選邊首尾相連，形成一個各條線段均不相交的優(yōu) 選指定類型多邊形。
[0142] 在一種可能的實現(xiàn)方式中，仍舊參見圖2B所示，該第一確定模塊208,還被配置為：
[0143] 對于圖像塊中檢測到的任一條線段，計算該線段與該圖像塊中的初選邊的夾角， 篩選出夾角小于預定夾角闊值的線段;將篩選出的線段中長度最長的線段作為該圖像塊中 的標準線段。
[0144] 圖ID是根據(jù)一示例性實施例示出的提取指定類型多邊形的初選邊所在的圖像塊 的示意圖，如圖ID所示，假設(shè)線段a為指定類型多邊形的一條初選邊，對線段a所在的圖像塊 30進行直線檢測后，獲取到線段b、線段C和線段d，其中線段b與線段a平行，線段d與線段a垂 直。由此可知，線段a和線段b之間不存在夾角，線段a和線段d之間的夾角為90°。延長線段C 后使得線段C與線段a相交形成的夾角0，由圖可知夾角0小于90°，因此可W得到，檢測到的 線段與初選邊的夾角越大，該線段與初選邊的方向偏離較大，檢測到的線段與初選邊的夾 角越小，該線段與初選邊的方向偏離較小。因此，當智能設(shè)備獲取該圖像塊中檢測到的線段 W及該線段對應(yīng)的端點坐標后，對于圖像塊中檢測到的任一條線段，計算該線段與該圖像 塊中的初選邊的夾角，篩選出夾角小于預定夾角闊值的線段。
[0145] 需要說明的是，本實施例中所講的線段與該圖像塊中的初選邊的夾角是指線段與 該圖像塊中的初選邊相交形成的不大于90°的角。
[0146] 在一種可能的實現(xiàn)方式中，仍舊參見圖2B所示，該裝置還包括:第一判定模塊210 和第二判定模塊211。
[0147] 第一判定模塊210,被配置為第二確定模塊209確定出第i + 1帖圖像中的優(yōu)選指定 類型多邊形之后，計算該第i+1帖圖像中優(yōu)選指定類型多邊形各個內(nèi)角的角度；當各個內(nèi)角 中存在至少一個內(nèi)角的角度未位于預定角度范圍內(nèi)時，判定該優(yōu)選指定類型多邊形不符合 標準。
[0148] 運里所講的預定角度范圍由（預定角度基準+/-誤差允許范圍)得到，其中，預定角 度基準由當指定類型多邊形為內(nèi)角度數(shù)相同的指定類型多邊形時的內(nèi)角度數(shù)決定。指定類 型多邊形的內(nèi)角數(shù)量不同，該指定類型多邊形對應(yīng)的內(nèi)角度數(shù)也不同。當指定類型多邊形 為四邊形時，該指定類型多邊形的預定角度基準為90%該指定類型多邊形對應(yīng)的預定角度 范圍可W為60°至120° (90°+/-30°)，當指定類型多邊形為五邊形時，該指定類型多邊形的 預定角度基準為108°，該指定類型多邊形對應(yīng)的預定角度范圍可W為68°至148° (108°+/- 40° )。本實施例不限定誤差允許范圍的具體度數(shù)。
[0149] 第二判定模塊211，被配置為計算第i + 1帖圖像中該指定類型多邊形的面積，W及 該第i+1帖圖像中該優(yōu)選指定類型多邊形與該第i + 1帖圖像中該指定類型多邊形的交集面 積;計算出該交集面積占該第i+1帖圖像中該指定類型多邊形的面積的比例；當比例未達到 預定比例闊值時，判定該優(yōu)選指定類型多邊形不符合標準。
[0150] 運里所講的第i + 1帖圖像中該優(yōu)選指定類型多邊形與該第i+1帖圖像中該指定類 型多邊形的交集面積是指第i+1帖圖像中該優(yōu)選指定類型多邊形覆蓋該第i + 1帖圖像中該 指定類型多邊形的面積。
[0151] 當該優(yōu)選指定類型多邊形與該指定類型多邊形距離較遠或形狀差異較大時，該優(yōu) 選指定類型多邊形與該指定類型多邊形的交集面積較小，當該優(yōu)選指定類型多邊形與該指 定類型多邊形距離較近或形狀差異較小時，該優(yōu)選指定類型多邊形與該指定類型多邊形的 交集面積較大。因此，當該交集面積占該第i+1帖圖像中該指定類型多邊形的面積的比例未 達到預定比例闊值時，判定該優(yōu)選指定類型多邊形不符合標準。
[0152] 在一種可能的實現(xiàn)方式中，仍舊參見圖2B所示，該裝置還包括:替換模塊212和第 =獲取模塊213。
[0153] 替換模塊212,被配置為當?shù)诙_定模塊209確定的優(yōu)選指定類型多邊形符合標準 時，將該優(yōu)選指定類型多邊形的頂點坐標替換第i+1帖圖像中該指定類型多邊形的頂點的 坐標。
[0154] 第=獲取模塊213,被配置為當?shù)诙_定模塊20卵角定的優(yōu)選指定類型多邊形不符 合標準時，對第i+1帖圖像進行指定類型多邊形檢測，獲取該第i+1帖圖像中檢測出的指定 類型多邊形的頂點的坐標。
[0155] 當不符合標準的優(yōu)選指定類型多邊形時，說明指定類型多邊形的坐標計算誤差較 大，因此將對第i+1帖圖像進行指定類型多邊形檢測的方式來獲取第i+1帖中指定類型多邊 形的頂點的坐標，來確保可W準確獲取第i+1帖中指定類型多邊形的頂點的坐標。
[0156] 綜上所述，本公開實施例中提供的對圖像中多邊形進行檢測的裝置，通過根據(jù)特 征點在第i帖圖像中的坐標W及在第i + 1帖圖像中的坐標，計算變換方程中參數(shù)的取值，再 根據(jù)參數(shù)被賦值后的變換方程和檢測出的指定類型多邊形的頂點在所述第i帖圖像中的坐 標，計算指定類型多邊形的頂點在第i + 1帖圖像中的坐標，由于不需要對第i + 1帖圖像進行 全圖掃描，而是通過計算得到第i+1帖圖像中的指定類型多邊形的頂點的坐標;解決了智能 設(shè)備僅適用于處理為數(shù)不多的圖片的情況，而對于多張圖片（比如視頻）的處理，則無法及 時向用戶反饋圖像的邊界識別后的結(jié)果的問題;達到了在對視頻處理時，實時輸出指定類 型多邊形的坐標，及時向用戶反饋圖像中多邊形進行邊界識別后的結(jié)果。
[0157] 在本實施例中，由于僅通過計算來獲取第i+1帖圖像中指定類型多邊形的坐標，可 能會存在誤差，對計算后得到的指定類型多邊形的各條邊所在的圖像塊進行進一步的直線 檢測，使得優(yōu)選出的優(yōu)選指定類型多邊形的坐標更為精準，且智能設(shè)備僅需要在圖像的指 定范圍內(nèi)進行直線檢測，因此還可W提高智能設(shè)備判定優(yōu)選邊速度。
[0158] 在本實施例中，由于標準線段是基于同一圖像塊中的初選邊角度進行選取的，因 此所選取的標準線段可W替代初選邊作為指定類型多邊形的優(yōu)選邊。
[0159] 在本實施例中，由于可W通過計算優(yōu)選指定類型的多邊形的內(nèi)角角度和計算優(yōu)選 指定類型多邊形覆蓋指定類型多邊形的范圍兩種方法，來判定優(yōu)選指定類型多邊形是否存 在較大誤差，因此當通過計算得到指定類型多邊形的坐標誤差較大時，對該指定多邊形的 初選邊所在的圖像塊進行直線檢測得到的優(yōu)選邊會產(chǎn)生較大誤差，導致在基于指定類型多 邊形進行進一步優(yōu)選得到的優(yōu)選指定類型多邊形也將存在較大誤差。
[0160] 在本實施例中，由于當不符合標準的優(yōu)選指定類型多邊形時，說明指定類型多邊 形的坐標計算誤差較大，因此將對第i+1帖圖像進行指定類型多邊形檢測的方式來獲取第i + 1帖中指定類型多邊形的頂點的坐標，來準確獲取第i+1帖中指定類型多邊形的頂點的坐 標。
[0161] 本公開一示例性實施例提供了一種對圖像中多邊形進行檢測的裝置，該對圖像中 多邊形進行檢測的裝置應(yīng)用于智能設(shè)備中，該對圖像中多邊形進行檢測的裝置包括:處理 器、用于存儲處理器可執(zhí)行指令的存儲器；
[0162] 其中，處理器被配置為：
[0163] 對于視頻中任意相鄰的第i帖圖像和第i + 1帖圖像，對該第i帖圖像進行特征點檢 ，得到該第i帖圖像中特征點的坐標；
[0164] 對第i帖圖像中特征點的坐標進行跟蹤，得到該特征點在第i+1帖圖像中的坐標；
[0165] 根據(jù)特征點在第i帖圖像中的坐標W及在第i+1帖圖像中的坐標，計算變換方程中 參數(shù)的取值，該變換方程用于根據(jù)第i帖圖像中像素點的坐標計算該像素點在該第i帖圖像 中的坐標；
[0166] 利用該取值對變換方程中的參數(shù)進行賦值，根據(jù)賦值后的變換方程和檢測出的指 定類型多邊形的頂點在第i帖圖像中的坐標，計算指定類型多邊形的頂點在第i+1帖圖像中 的坐標。
[0167] 圖3是根據(jù)一示例性實施例示出的一種用于對圖像中多邊形進行檢測的裝置的框 圖。例如，裝置300可W是移動電話，計算機，數(shù)字廣播終端，消息收發(fā)設(shè)備，游戲控制臺，平 板設(shè)備，醫(yī)療設(shè)備，健身設(shè)備，個人數(shù)字助理等。
[0168] 參照圖3,裝置300可W包括W下一個或多個組件:處理組件302,存儲器304,電源 組件306，多媒體組件308，音頻組件310，輸入/輸出（I/O)接口312，傳感器組件314，W及通 信組件316。
[0169] 處理組件302通常控制裝置300的整體操作，諸如與顯示，電話呼叫，數(shù)據(jù)通信，相 機操作和記錄操作相關(guān)聯(lián)的操作。處理組件302可W包括一個或多個處理器318來執(zhí)行指 令，W完成上述的方法的全部或部分步驟。此外，處理組件302可W包括一個或多個模塊，便 于處理組件302和其他組件之間的交互。例如，處理組件302可W包括多媒體模塊，W方便多 媒體組件308和處理組件302之間的交互。
[0170] 存儲器304被配置為存儲各種類型的數(shù)據(jù)W支持在裝置300的操作。運些數(shù)據(jù)的示 例包括用于在裝置300上操作的任何應(yīng)用程序或方法的指令，聯(lián)系人數(shù)據(jù)，電話簿數(shù)據(jù)，消 息，圖片，視頻等。存儲器304可W由任何類型的易失性或非易失性存儲設(shè)備或者它們的組 合實現(xiàn)，如靜態(tài)隨機存取存儲器(SRAM)，電可擦除可編程只讀存儲器化EPROM)，可擦除可編 程只讀存儲器化PROM)，可編程只讀存儲器(PROM)，只讀存儲器(ROM)，磁存儲器，快閃存儲 器，磁盤或光盤。
[0171] 電源組件306為裝置300的各種組件提供電力。電源組件306可W包括電源管理系 統(tǒng)，一個或多個電源，及其他與為裝置300生成、管理和分配電力相關(guān)聯(lián)的組件。
[0172] 多媒體組件308包括在裝置300和用戶之間的提供一個輸出接口的屏幕。在一些實 施例中，屏幕可W包括液晶顯示器化CD)和觸摸面板(TP)。如果屏幕包括觸摸面板，屏幕可 W被實現(xiàn)為觸摸屏，W接收來自用戶的輸入信號。觸摸面板包括一個或多個觸摸傳感器W 感測觸摸、滑動和觸摸面板上的手勢。觸摸傳感器可W不僅感測觸摸或滑動動作的邊界，而 且還檢測與觸摸或滑動操作相關(guān)的持續(xù)時間和壓力。在一些實施例中，多媒體組件308包括 一個前置攝像頭和/或后置攝像頭。當裝置300處于操作模式，如拍攝模式或視頻模式時，前 置攝像頭和/或后置攝像頭可W接收外部的多媒體數(shù)據(jù)。每個前置攝像頭和后置攝像頭可 W是一個固定的光學透鏡系統(tǒng)或具有焦距和光學變焦能力。
[0173] 音頻組件310被配置為輸出和/或輸入音頻信號。例如，音頻組件310包括一個麥克 風(MIC)，當裝置300處于操作模式，如呼叫模式、記錄模式和語音識別模式時，麥克風被配 置為接收外部音頻信號。所接收的音頻信號可W被進一步存儲在存儲器304或經(jīng)由通信組 件316發(fā)送。在一些實施例中，音頻組件310還包括一個揚聲器，用于輸出音頻信號。
[0174] I/O接口 312為處理組件302和外圍接口模塊之間提供接口，上述外圍接口模塊可 W是鍵盤，點擊輪，按鈕等。運些按鈕可包括但不限于：主頁按鈕、音量按鈕、啟動按鈕和鎖 定按鈕。
[0175] 傳感器組件314包括一個或多個傳感器，用于為裝置300提供各個方面的狀態(tài)評 估。例如，傳感器組件314可W檢測到裝置300的打開/關(guān)閉狀態(tài)，組件的相對定位，例如組件 為裝置300的顯示器和小鍵盤，傳感器組件314還可W檢測裝置300或裝置300-個組件的位 置改變，用戶與裝置300接觸的存在或不存在，裝置300方位或加速/減速和裝置300的溫度 變化。傳感器組件314可W包括接近傳感器，被配置用來在沒有任何的物理接觸時檢測附近 物體的存在。傳感器組件314還可W包括光傳感器，如CMOS或CCD圖像傳感器，用于在成像應(yīng) 用中使用。在一些實施例中，該傳感器組件314還可W包括加速度傳感器，巧螺儀傳感器，磁 傳感器，壓力傳感器或溫度傳感器。
[0176] 通信組件316被配置為便于裝置300和其他設(shè)備之間有線或無線方式的通信。裝置 300可W接入基于通信標準的無線網(wǎng)絡(luò)，如Wi-FiJG或3G，或它們的組合。在一個示例性實 施例中，通信組件316經(jīng)由廣播信道接收來自外部廣播管理系統(tǒng)的廣播信號或廣播相關(guān)信 息。在一個示例性實施例中，通信組件316還包括近場通信(NFC)模塊，W促進短程通信。例 如，在NFC模塊可基于射頻識別(RFID)技術(shù)，紅外數(shù)據(jù)協(xié)會(IrDA)技術(shù)，超寬帶(UWB)技術(shù)， 藍牙(BT)技術(shù)和其他技術(shù)來實現(xiàn)。
[0177] 在示例性實施例中，裝置300可W被一個或多個應(yīng)用專用集成電路(ASIC)、數(shù)字信 號處理器（DSP)、數(shù)字信號處理設(shè)備（DSPD)、可編程邏輯器件（PLD)、現(xiàn)場可編程口陣列 (FPGA)、控制器、微控制器、微處理器或其他電子元件實現(xiàn)，用于執(zhí)行上述對圖像中多邊形 進行檢測的方法。
[0178] 在示例性實施例中，還提供了一種包括指令的非臨時性計算機可讀存儲介質(zhì)，例 如包括指令的存儲器304,上述指令可由裝置300的處理器318執(zhí)行W完成上述對圖像中多 邊形進行檢測的方法。例如，非臨時性計算機可讀存儲介質(zhì)可W是ROM、隨機存取存儲器 (RAM)、CD-ROM、磁帶、軟盤和光數(shù)據(jù)存儲設(shè)備等。
[0179] 本領(lǐng)域技術(shù)人員在考慮說明書及實踐運里公開的發(fā)明后，將容易想到本公開的其 它實施方案。本申請旨在涵蓋本公開的任何變型、用途或者適應(yīng)性變化，運些變型、用途或 者適應(yīng)性變化遵循本公開的一般性原理并包括本公開未公開的本技術(shù)領(lǐng)域中的公知常識 或慣用技術(shù)手段。說明書和實施例僅被視為示例性的，本公開的真正范圍和精神由下面的 權(quán)利要求指出。
[0180] 應(yīng)當理解的是，本公開并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu)，并 且可W在不脫離其范圍進行各種修改和改變。本公開的范圍僅由所附的權(quán)利要求來限制。
【主權(quán)項】
1. 一種對圖像中多邊形進行檢測的方法，其特征在于，應(yīng)用于智能設(shè)備中，所述方法包 括： 對于視頻中任意相鄰的第i幀圖像和第i+ι幀圖像，對所述第i幀圖像進行特征點檢測， 得到所述第i幀圖像中特征點的坐標； 對所述第i幀圖像中特征點的坐標進行跟蹤，得到所述特征點在所述第i+ι幀圖像中的 坐標； 根據(jù)所述特征點在所述第i幀圖像中的坐標以及在所述第i+ι幀圖像中的坐標，計算變 換方程中參數(shù)的取值，所述變換方程用于根據(jù)所述第i幀圖像中像素點的坐標計算所述像 素點在所述第i幀圖像中的坐標； 利用所述取值對所述變換方程中的所述參數(shù)進行賦值，根據(jù)賦值后的所述變換方程和 檢測出的指定類型多邊形的頂點在所述第i幀圖像中的坐標，計算所述指定類型多邊形的 頂點在所述第i+Ι幀圖像中的坐標。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括： 當所述第i幀圖像為所述視頻中的第一幀圖像時，對所述第i幀圖像進行指定類型多邊 形的檢測，獲取所述第i幀圖像中檢測出的指定類型多邊形的頂點的坐標。3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計算所述指定類型多邊形的頂點在所 述第i+1幀圖像中的坐標之后，所述方法還包括： 根據(jù)所述指定類型多邊形的頂點在所述第i+Ι幀圖像中的坐標，得到所述指定類型多 邊形在所述第i+Ι幀圖像中的初選邊； 對于所述指定類型多邊形在所述第i+Ι幀圖像中的每條初選邊，提取所述初選邊所在 的圖像塊，所述圖像塊包含所述指定類型多邊形的一條初選邊； 對于每個圖像塊，對所述圖像塊中的圖像進行直線檢測，獲取所述圖像塊中檢測到的 線段以及所述線段對應(yīng)的端點坐標;確定出所述圖像塊中的標準線段，將所述標準線段作 為所述指定類型多邊形在所述第i+Ι幀圖像中的一條優(yōu)選邊； 根據(jù)各個圖像塊所對應(yīng)的優(yōu)選邊，確定出所述第i+Ι幀圖像中的優(yōu)選指定類型多邊形。4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述確定出所述圖像塊中的標準線段，包 括： 對于所述圖像塊中檢測到的任一條線段，計算所述線段與所述圖像塊中的初選邊的夾 角，篩選出夾角小于預定夾角閾值的線段;將篩選出的線段中長度最長的線段作為所述圖 像塊中的標準線段。5. 根據(jù)權(quán)利要3所述的方法，其特征在于，所述確定出所述第i + Ι幀圖像中的優(yōu)選指定 類型多邊形之后，所述方法還包括： 計算所述第i+Ι幀圖像中所述優(yōu)選指定類型多邊形各個內(nèi)角的角度；當各個內(nèi)角中存 在至少一個內(nèi)角的角度未位于預定角度范圍內(nèi)時，判定所述優(yōu)選指定類型多邊形不符合標 準； 和/或， 計算所述第i+Ι幀圖像中所述指定類型多邊形的面積，以及所述第i+Ι幀圖像中所述優(yōu) 選指定類型多邊形與所述第i+Ι幀圖像中所述指定類型多邊形的交集面積;計算出所述交 集面積占所述第i+Ι幀圖像中所述指定類型多邊形的面積的比例；當所述比例未達到預定 比例閾值時，判定所述優(yōu)選指定類型多邊形不符合標準。6. 根據(jù)權(quán)利要求3至5任一所述的方法，其特征在于，所述方法還包括： 當所述優(yōu)選指定類型多邊形符合標準時，將所述優(yōu)選指定類型多邊形的頂點坐標替換 所述第i+Ι幀圖像中所述指定類型多邊形的頂點的坐標； 當所述優(yōu)選指定類型多邊形不符合標準時，對所述第i+Ι幀圖像進行指定類型多邊形 檢測，獲取所述第i+Ι幀圖像中檢測出的指定類型多邊形的頂點的坐標。7. -種對圖像中多邊形進行檢測的裝置，其特征在于，應(yīng)用于智能設(shè)備中，所述裝置包 括： 檢測模塊，被配置為對于視頻中任意相鄰的第i幀圖像和第i+Ι幀圖像，對所述第i幀圖 像進行特征點檢測，得到所述第i幀圖像中特征點的坐標； 跟蹤模塊，被配置為對所述檢測模塊檢測的所述第i幀圖像中特征點的坐標進行跟蹤， 得到所述特征點在所述第i+Ι幀圖像中的坐標； 第一計算模塊，被配置為根據(jù)所述特征點在所述檢測模塊檢測的所述第i幀圖像中的 坐標以及在所述跟蹤模塊跟蹤的所述第i+Ι幀圖像中的坐標，計算變換方程中參數(shù)的取值， 所述變換方程用于根據(jù)所述第i幀圖像中像素點的坐標計算所述像素點在所述第i幀圖像 中的坐標； 第二計算模塊，被配置為利用所述第一計算模塊計算的所述取值對所述變換方程中的 所述參數(shù)進行賦值，根據(jù)賦值后的所述變換方程和檢測出的指定類型多邊形的頂點在所述 第i幀圖像中的坐標，計算所述指定類型多邊形的頂點在所述第i+Ι幀圖像中的坐標。8. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述裝置還包括： 第一獲取模塊，被配置為當所述第i幀圖像為所述視頻中的第一幀圖像時，對所述第i 幀圖像進行指定類型多邊形的檢測，獲取所述第i幀圖像中檢測出的指定類型多邊形的頂 點的坐標。9. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述裝置還包括： 第二獲取模塊，被配置為所述第二計算模塊計算所述指定類型多邊形的頂點在所述第 i+Ι幀圖像中的坐標之后，根據(jù)所述指定類型多邊形的頂點在所述第i+Ι幀圖像中的坐標， 得到所述指定類型多邊形在所述第i+Ι幀圖像中的初選邊； 提取模塊，被配置為對于所述第二獲取模塊獲取的所述指定類型多邊形在所述第i+1 幀圖像中的每條初選邊，提取所述初選邊所在的圖像塊，所述圖像塊包含所述指定類型多 邊形的一條初選邊； 第一確定模塊，被配置為對于所述提取模塊提取的每個圖像塊，對所述圖像塊中的圖 像進行直線檢測，獲取所述圖像塊中檢測到的線段以及所述線段對應(yīng)的端點坐標;確定出 所述圖像塊中的標準線段，將所述標準線段作為所述指定類型多邊形在所述第i+Ι幀圖像 中的一條優(yōu)選邊； 第二確定模塊，被配置為根據(jù)所述第一確定模塊確定的各個圖像塊所對應(yīng)的優(yōu)選邊， 確定出所述第i+ι幀圖像中的優(yōu)選指定類型多邊形。10. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述第一確定模塊，還被配置為： 對于所述圖像塊中檢測到的任一條線段，計算所述線段與所述圖像塊中的初選邊的夾 角，篩選出夾角小于預定夾角閾值的線段;將篩選出的線段中長度最長的線段作為所述圖 像塊中的標準線段。11. 根據(jù)權(quán)利要9所述的裝置，其特征在于，所述裝置還包括： 第一判定模塊，被配置為所述第二確定模塊確定出所述第i+Ι幀圖像中的優(yōu)選指定類 型多邊形之后，計算所述第i+Ι幀圖像中所述優(yōu)選指定類型多邊形各個內(nèi)角的角度；當各個 內(nèi)角中存在至少一個內(nèi)角的角度未位于預定角度范圍內(nèi)時，判定所述優(yōu)選指定類型多邊形 不符合標準； 第二判定模塊，被配置為計算所述第i+ι幀圖像中所述指定類型多邊形的面積，以及所 述第i+Ι幀圖像中所述優(yōu)選指定類型多邊形與所述第i+Ι幀圖像中所述指定類型多邊形的 交集面積;計算出所述交集面積占所述第i+ι幀圖像中所述指定類型多邊形的面積的比例； 當所述比例未達到預定比例閾值時，判定所述優(yōu)選指定類型多邊形不符合標準。12. 根據(jù)權(quán)利要求9至11任一所述的裝置，其特征在于，所述裝置還包括： 替換模塊，被配置為當所述第二確定模塊確定的所述優(yōu)選指定類型多邊形符合標準 時，將所述優(yōu)選指定類型多邊形的頂點坐標替換所述第i+Ι幀圖像中所述指定類型多邊形 的頂點的坐標； 第三獲取模塊，被配置為當所述第二確定模塊確定出所述優(yōu)選指定類型多邊形不符合 標準時，對所述第i+ι幀圖像進行指定類型多邊形檢測，獲取所述第i+ι幀圖像中檢測出的 指定類型多邊形的頂點的坐標。13. -種對圖像中多邊形進行檢測的裝置，其特征在于，應(yīng)用于智能設(shè)備中，所述裝置 包括： 處理器； 用于存儲所述處理器可執(zhí)行指令的存儲器； 其中，所述處理器被配置為： 對于視頻中任意相鄰的第i幀圖像和第i+ι幀圖像，對所述第i幀圖像進行特征點檢測， 得到所述第i幀圖像中特征點的坐標； 對所述第i幀圖像中特征點的坐標進行跟蹤，得到所述特征點在所述第i+ι幀圖像中的 坐標； 根據(jù)所述特征點在所述第i幀圖像中的坐標以及在所述第i+ι幀圖像中的坐標，計算變 換方程中參數(shù)的取值，所述變換方程用于根據(jù)所述第i幀圖像中像素點的坐標計算所述像 素點在所述第i幀圖像中的坐標； 利用所述取值對所述變換方程中的所述參數(shù)進行賦值，根據(jù)賦值后的所述變換方程和 檢測出的指定類型多邊形的頂點在所述第i幀圖像中的坐標，計算所述指定類型多邊形的 頂點在所述第i+Ι幀圖像中的坐標。
【文檔編號】G06T7/60GK105957114SQ201610302826
【公開日】2016年9月21日
【申請日】2016年5月9日
【發(fā)明人】楊松, 李明浩, 陳志軍
【申請人】北京小米移動軟件有限公司