一種用于微納衛(wèi)星的視頻穩(wěn)像方法
【專(zhuān)利摘要】本發(fā)明屬于視頻穩(wěn)像技術(shù)領(lǐng)域，公開(kāi)了一種用于微納衛(wèi)星的視頻穩(wěn)像方法。視頻穩(wěn)像方法為：通過(guò)相機(jī)獲取景物的視頻信息，通過(guò)陀螺儀獲取相機(jī)運(yùn)動(dòng)信息；然后將視頻信息和相機(jī)運(yùn)動(dòng)信息進(jìn)行融合處理得到相機(jī)運(yùn)動(dòng)軌跡，再通過(guò)平滑算法對(duì)相機(jī)運(yùn)動(dòng)軌跡進(jìn)行平滑處理得到平滑相機(jī)運(yùn)動(dòng)軌跡，最后利用平滑相機(jī)運(yùn)動(dòng)軌跡對(duì)視頻信息進(jìn)行穩(wěn)像處理得到穩(wěn)像視頻。該方法使用的傳感器較少，適用于對(duì)質(zhì)量、體積、功耗、成本等有著嚴(yán)格要求的微納衛(wèi)星；且提出算法穩(wěn)像性能也較好，具有較為廣泛的應(yīng)用場(chǎng)景。
【專(zhuān)利說(shuō)明】
一種用于微納衛(wèi)星的視頻穩(wěn)像方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于視頻穩(wěn)像技術(shù)領(lǐng)域，特別涉及一種用于微納衛(wèi)星的視頻穩(wěn)像方法。
【背景技術(shù)】
[0002] 微納衛(wèi)星(NanoSat)是指質(zhì)量小于10千克、具有實(shí)際使用功能的衛(wèi)星，其在質(zhì)量、 體積、功耗等方面有著嚴(yán)格的要求。微納衛(wèi)星由于體積小、重量輕，在太空中拍攝視頻時(shí)，易 受惡劣環(huán)境的影響從而導(dǎo)致衛(wèi)星本身的晃動(dòng)，繼而帶動(dòng)相機(jī)的不規(guī)則運(yùn)動(dòng)，導(dǎo)致最終拍攝 的視頻出現(xiàn)抖動(dòng)。視頻的抖動(dòng)，不僅影響視頻的主觀質(zhì)量，同時(shí)也限制了其后期信息的有效 利用，甚至?xí)苯佑绊懭藗儗?duì)視頻內(nèi)容的分析判斷。因此，面向微納衛(wèi)星開(kāi)發(fā)性能優(yōu)異的視 頻穩(wěn)像方法有效地消除視頻的抖動(dòng)，是目前視頻處理領(lǐng)域的一個(gè)重要的研究方向。
[0003] 專(zhuān)利"一種移動(dòng)終端視頻的電子穩(wěn)像方法，公開(kāi)號(hào)：CN104902142A"公開(kāi)了一種用 于移動(dòng)終端視頻的電子穩(wěn)像方法，該方法旨在利用陀螺儀、加速度計(jì)、地磁傳感器等姿態(tài)傳 感器測(cè)量視頻的幀間運(yùn)動(dòng)矢量，從而對(duì)抖動(dòng)的視頻幀進(jìn)行補(bǔ)償穩(wěn)像。由于該方法使用的傳 感器較多，因此，不適用于對(duì)質(zhì)量、體積、功耗、成本等有著嚴(yán)格要求的微納衛(wèi)星。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是提供一種用于微納衛(wèi)星的視頻穩(wěn)像方法，該方法使用的傳感器較 少，適用于對(duì)質(zhì)量、體積、功耗、成本等有著嚴(yán)格要求的微納衛(wèi)星；且提出算法穩(wěn)像性能也 較好，具有較為廣泛的應(yīng)用場(chǎng)景。
[0005] 為達(dá)到以上目的，本發(fā)明采用以下技術(shù)方案予以實(shí)現(xiàn)。
[0006] -種用于微納衛(wèi)星的視頻穩(wěn)像方法，其特征在于:通過(guò)相機(jī)獲取景物的視頻信息， 通過(guò)陀螺儀獲取相機(jī)運(yùn)動(dòng)信息;然后將視頻信息和相機(jī)運(yùn)動(dòng)信息進(jìn)行融合處理得到相機(jī)運(yùn) 動(dòng)軌跡，再通過(guò)平滑算法對(duì)相機(jī)運(yùn)動(dòng)軌跡進(jìn)行平滑處理得到平滑相機(jī)運(yùn)動(dòng)軌跡，最后利用 平滑相機(jī)運(yùn)動(dòng)軌跡對(duì)視頻信息進(jìn)行穩(wěn)像處理得到穩(wěn)像視頻。
[0007]上述技術(shù)方案的特點(diǎn)和進(jìn)一步改進(jìn)：
[0008] 進(jìn)一步的，所述融合處理的具體步驟如下：
[0009] (1)在視頻信息中，通過(guò)SIFT特征點(diǎn)提取算法提取η個(gè)當(dāng)前幀特征點(diǎn)，然后通過(guò) SIFT匹配算法尋找當(dāng)前幀特征點(diǎn)在下一幀中的視頻匹配點(diǎn)，得到η個(gè)視頻匹配點(diǎn)a n=(x，y， z)τ，其中X，y，z分別代表了特征點(diǎn)an的三維坐標(biāo)；
[0010] (2)用陀螺儀數(shù)據(jù)將當(dāng)前幀特征點(diǎn)A匹配到下一幀對(duì)應(yīng)位置，利用陀螺儀數(shù)據(jù)匹配 時(shí)，給定td不同的值，則得出η個(gè)運(yùn)動(dòng)匹配點(diǎn)bi、b2......bn，其中bn=(x'，y'，ζ'） τ，上式中？， y S ζ ^分別為特征點(diǎn)bn的三維坐標(biāo)；
[0011] (3)計(jì)算視頻匹配Aan與運(yùn)動(dòng)匹配點(diǎn)bn之間的距離平方和S n，
[0013] s (an，bn)表示對(duì)應(yīng)的視頻匹配點(diǎn)an與運(yùn)動(dòng)匹配點(diǎn)bn之間的距離，
[0014] 使得Sn值最小時(shí)的td值，即為校準(zhǔn)值；
[0015] ⑷陀螺儀測(cè)量的是物體繞三軸旋轉(zhuǎn)的角速度w= (Wx，Wy，Wz)，將其乘以時(shí)間△ t轉(zhuǎn) 換成其角度值1'=(1\，&，1'2)，旋轉(zhuǎn)角度0=]1〇1'1]1(1')，將角度值1'歸一化，得其轉(zhuǎn)軸的單位向 量k = r/θ，陀螺儀測(cè)得的旋轉(zhuǎn)向量用旋轉(zhuǎn)矩陣的形式表示為
[0016] R(0) = I+sin9Sk+(l-cos9)Sk2,
[0017]式中，Sk是單位向量k的反對(duì)稱(chēng)矩陣，表示為
/
[0019] k是一個(gè)矩陣，lu，k2，k3分別是他們的三個(gè)元素，
[0020] k = R/0 = (rx/0,ry/0,rz/0) = (ki,k2,k3),
[0021] I為3X3的單位矩陣；
[0022] 將每一幀視頻中的陀螺儀測(cè)得的每一組物體繞三軸旋轉(zhuǎn)的角速度分別利用羅德 里格旋轉(zhuǎn)公式轉(zhuǎn)換為其相應(yīng)的旋轉(zhuǎn)矩陣R(0)，然后將每一幀的數(shù)個(gè)旋轉(zhuǎn)矩陣R(0)通過(guò)相乘 融合，最后生成代表每一幀的旋轉(zhuǎn)矩陣R，綜合視頻各幀的旋轉(zhuǎn)矩陣R，形成隨時(shí)間變換的視 頻幀序列的旋轉(zhuǎn)矩陣序列R(t)，旋轉(zhuǎn)矩陣序列為相機(jī)運(yùn)動(dòng)軌跡。
[0023]進(jìn)一步的，所述平滑處理的具體步驟如下：
[0024] (1)在黎曼幾何的流形基礎(chǔ)上，直接平滑旋轉(zhuǎn)矩陣序列R(t)，最短測(cè)地線的長(zhǎng)度為
[0025] dg(Ri，Rj) = | | logm(RiTRj) | |f，
[0026] 其中，logm( ·)是矩陣對(duì)數(shù)運(yùn)算符，Μ · I |F是矩陣的F范數(shù)，
[0027] RhK分別表示旋轉(zhuǎn)矩陣序列R(t)中的第i幀旋轉(zhuǎn)矩陣和第j幀旋轉(zhuǎn)矩陣；
[0028] (2)按照黎曼流形架構(gòu)，定義旋轉(zhuǎn)矩陣序列R(t)的平滑度為相鄰旋轉(zhuǎn)矩陣R的測(cè)地 距離的總和，描述上述要求的目標(biāo)函數(shù)為
[0030] 其中，R，表示第i幀平滑后的平滑旋轉(zhuǎn)矩陣，
[0031] α為控制穩(wěn)定軌跡平滑的權(quán)重因子，IT1+1表示第i+Ι幀平滑后的新的旋轉(zhuǎn)矩陣；
[0032] 通過(guò)黎曼流形約束平滑算法迭代求使得目標(biāo)函數(shù)最小的那個(gè)平滑旋轉(zhuǎn)矩陣心'， 即得到平滑后的平滑旋轉(zhuǎn)矩陣序列R'（t)，R'（t)為平滑相機(jī)運(yùn)動(dòng)軌跡。
[0033]進(jìn)一步的，所述穩(wěn)像處理的具體步驟如下：
[0034] (1)首先將視頻幀采樣時(shí)間與陀螺儀采樣時(shí)間校準(zhǔn)，校準(zhǔn)式為
[0035] tb'=tb+td，
[0036] 式中，tb為視頻初始幀采樣時(shí)間，
[0037] tb '為與陀螺儀數(shù)據(jù)校準(zhǔn)后的視頻幀起始時(shí)間；
[0038] (2)視頻幀內(nèi)旋轉(zhuǎn)矩陣R"（t3)，其中t3代表第三幀，視頻幀第i行對(duì)應(yīng)的時(shí)間戳為
[0039] ti = tb，+tsX (i/h)，
[0040] 式中，ts表示一幀中從上到下逐行掃描曝光的時(shí)間，h表示視頻幀總行數(shù)；
[0041] 通過(guò)對(duì)比校準(zhǔn)之后的視頻幀每一行的時(shí)間戳與陀螺儀數(shù)據(jù)時(shí)間戳，確定用于生成 每一行像素坐標(biāo)旋轉(zhuǎn)矩陣所對(duì)應(yīng)的陀螺儀數(shù)據(jù)組;設(shè)f(l)+td為校準(zhǔn)后的第一幀視頻時(shí)間 戳、f(2)+td為校準(zhǔn)后的第二幀視頻時(shí)間戳、每一行視頻時(shí)間戳分別標(biāo)注為t(Z、t^、 t27……、g(n)表示第η組陀螺儀數(shù)據(jù)時(shí)間戳，確定視頻幀每一行對(duì)應(yīng)的idxa-idxb組陀螺儀 數(shù)據(jù)，從而生成代表每一行運(yùn)動(dòng)的幀內(nèi)旋轉(zhuǎn)矩陣R"（t 3)，將獲取的幀內(nèi)每一行的旋轉(zhuǎn)矩陣 與其所在幀的幀間旋轉(zhuǎn)矩陣融合，獲取各行的像素點(diǎn)位置的對(duì)應(yīng)關(guān)系
[0042] χ2 = ΚΚ7 (t2)R7
[0043] 式中，X1為未穩(wěn)像視頻的像素x坐標(biāo)，
[0044] X2為穩(wěn)像視頻像素X坐標(biāo)，
[0045] f (ti)表示t時(shí)平滑后的新旋轉(zhuǎn)矩陣，
[0046] R' (t2)表示t2時(shí)平滑后的新旋轉(zhuǎn)矩陣；
[0047] (3)設(shè)視頻幀圖像寬？、高h(yuǎn)，將視頻幀圖像各像素點(diǎn)坐標(biāo)二維網(wǎng)格化表示，以圖像 左下角像素點(diǎn)為坐標(biāo)原點(diǎn)，則圖像像素點(diǎn)的網(wǎng)格化坐標(biāo)的橫坐標(biāo)值X，縱坐標(biāo)值Y分別為：
[0049] 其中，X和Y都是h行？列，
[0050] 通過(guò)下式
[0052]對(duì)視頻圖像幀進(jìn)行逐行的坐標(biāo)轉(zhuǎn)換，使網(wǎng)格化圖像像素坐標(biāo)[ΧηΥ,Γ轉(zhuǎn)換得到旋 轉(zhuǎn)變換后的坐標(biāo)位置[尤，
[0053]式中，f( ·)函數(shù)的作用是將齊次坐標(biāo)轉(zhuǎn)為非齊次坐標(biāo)表示；
[0054] (4)將網(wǎng)格化圖像像素坐標(biāo)[ΧηΥ」1反轉(zhuǎn)換回原始相機(jī)拍攝的原視頻幀像素點(diǎn)坐 標(biāo)處，根據(jù)未處理前的原始視頻幀的像素坐標(biāo)與像素值之間的對(duì)應(yīng)關(guān)系，插值求出穩(wěn)定后 的視頻幀的像素坐標(biāo)對(duì)應(yīng)未處理前的原始視頻幀的像素值得到視頻幀序列。
[0055] 進(jìn)一步的，插值之后的新的視頻幀序列，經(jīng)過(guò)裁邊消除黑邊效應(yīng)后，利用video writer函數(shù)存入一個(gè)新的視頻對(duì)象中，形成最終的穩(wěn)像視頻。
[0056]本發(fā)明的用于微納衛(wèi)星的視頻穩(wěn)像方法，該方法在利用搭建好的微納衛(wèi)星平臺(tái) 上，僅使用一種姿態(tài)傳感器陀螺儀，利用其獲取的物理信息，結(jié)合微小相機(jī)拍攝的視頻信 息，對(duì)抖動(dòng)的視頻進(jìn)行處理，實(shí)現(xiàn)穩(wěn)像;僅使用陀螺儀進(jìn)行視頻穩(wěn)像，更符合微納衛(wèi)星在質(zhì) 量、體積、成本、功耗等方面的嚴(yán)格要求。
【附圖說(shuō)明】
[0057]圖1為本發(fā)明的一種用于微納衛(wèi)星的視頻穩(wěn)像方法的流程示意圖；
[0058] 圖2為本發(fā)明中的校準(zhǔn)陀螺儀和相機(jī)時(shí)間延遲算法示意圖；
[0059] 圖3為本發(fā)明中的SIFT匹配相鄰幀特征點(diǎn)效果圖；
[0060] 圖4為本發(fā)明中的陀螺儀采樣率和視頻幀率之間的關(guān)系圖；
[0061] 圖5為本發(fā)明中的視頻幀的二維網(wǎng)格化圖像示意圖；
[0062] 圖6為本發(fā)明中的穩(wěn)定后視頻幀與原始視頻幀對(duì)比示意圖。
【具體實(shí)施方式】
[0063]下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。
[0064]參照?qǐng)D1，為本發(fā)明的一種用于微納衛(wèi)星的視頻穩(wěn)像方法的流程示意圖；該視頻穩(wěn) 像方法為:通過(guò)相機(jī)獲取景物的視頻信息，通過(guò)陀螺儀獲取相機(jī)運(yùn)動(dòng)信息;然后將視頻信息 和相機(jī)運(yùn)動(dòng)信息進(jìn)行融合處理得到相機(jī)運(yùn)動(dòng)軌跡，再通過(guò)平滑算法對(duì)相機(jī)運(yùn)動(dòng)軌跡進(jìn)行平 滑處理得到平滑相機(jī)運(yùn)動(dòng)軌跡，最后利用平滑相機(jī)運(yùn)動(dòng)軌跡對(duì)視頻信息進(jìn)行穩(wěn)像處理得到 穩(wěn)像視頻。
[0065]融合處理的具體步驟如下：
[0066] (1)在視頻信息中，通過(guò)SIFT特征點(diǎn)提取算法提取η個(gè)當(dāng)前幀特征點(diǎn)，然后通過(guò) SIFT匹配算法尋找當(dāng)前幀特征點(diǎn)在下一幀中的視頻匹配點(diǎn)，得到η個(gè)視頻匹配點(diǎn)a n=(x，y， z)τ，其中X，y，z分別代表了特征點(diǎn)an的三維坐標(biāo)。
[0067] (2)用陀螺儀數(shù)據(jù)將當(dāng)前幀特征點(diǎn)A匹配到下一幀對(duì)應(yīng)位置，利用陀螺儀數(shù)據(jù)匹 配時(shí)，給定td不同的值，則得出η個(gè)運(yùn)動(dòng)匹配點(diǎn)bi、b2......bn，其中bn=(x'，y'，z'） τ，上式中 x'，ySz^分別為特征點(diǎn)bn的三維坐標(biāo)；
[0068] (3)計(jì)算視頻匹配點(diǎn)&"與運(yùn)動(dòng)匹配點(diǎn)bn之間的距離平方和S n
[0070] s(an，bn)表示對(duì)應(yīng)的視頻匹配點(diǎn)&"與運(yùn)動(dòng)匹配點(diǎn)b n之間的距離，
[0071 ]使得5"最小時(shí)的td值，即為校準(zhǔn)值，如圖2、圖3所示。
[0072] (4)陀螺儀測(cè)量的是物體繞三軸旋轉(zhuǎn)的角速度w= (Wx，Wy，Wz)，將其乘以時(shí)間Δ t轉(zhuǎn) 換成其角度值r = (rx，ry，rz)，由于旋轉(zhuǎn)向量的長(zhǎng)度(模）即表示繞軸旋轉(zhuǎn)的角度，則旋轉(zhuǎn)角 度Θ = norm(r)，將角度值r歸一化，得其轉(zhuǎn)軸的單位向量k = r/θ，陀螺儀測(cè)得的旋轉(zhuǎn)向量用 旋轉(zhuǎn)矩陣的形式表示為
[0073] R(0) = I+sin9Sk+(l-cos9)Sk2,
[0074] 式中，Sk是單位向量k的反對(duì)稱(chēng)矩陣，表示為
[0076] k是一個(gè)矩陣，lu，k2，k3分別是他們的三個(gè)元素，
[0077] k = R/0 = (rx/0,ry/0,rz/0) = (ki,k2,k3),
[0078] I為3X3的單位矩陣；
[0079] Android系統(tǒng)中陀螺儀的采樣率往往要高于視頻幀率，所以每一幀視頻中可能包 含有多組陀螺儀數(shù)據(jù)，如圖4所示。將每一幀視頻中的陀螺儀測(cè)得的每一組物體繞三軸旋轉(zhuǎn) 的角速度分別利用羅德里格旋轉(zhuǎn)公式轉(zhuǎn)換為其相應(yīng)的旋轉(zhuǎn)矩陣R(9)，然后將每一幀的數(shù)個(gè) 旋轉(zhuǎn)矩陣R(9)通過(guò)相乘融合，最后生成代表每一幀的旋轉(zhuǎn)矩陣R，綜合視頻各幀的旋轉(zhuǎn)矩陣 R，形成隨時(shí)間變換的視頻幀序列的旋轉(zhuǎn)矩陣序列R(t)，旋轉(zhuǎn)矩陣序列R(t)為相機(jī)運(yùn)動(dòng)軌 跡。
[0080]平滑處理的具體步驟如下：
[0081 ]在視頻穩(wěn)像中，相機(jī)運(yùn)動(dòng)軌跡的抖動(dòng)是導(dǎo)致最終視頻成像抖動(dòng)模糊的根本原因， 所以，平滑相機(jī)的運(yùn)動(dòng)軌跡是去除視頻抖動(dòng)的核心，且平滑效果的好壞直接影響著穩(wěn)像的 最終質(zhì)量。
[0082] (1)已知直線的概念是指切矢量方向不變的線，對(duì)于黎曼幾何，最短測(cè)地線則定義 為，假若一條曲線上的切矢量關(guān)于曲線自身是平行移動(dòng)的，則此曲線稱(chēng)為最短測(cè)地線。在黎 曼幾何的流形基礎(chǔ)上，直接平滑旋轉(zhuǎn)矩陣序列R(t)，最短測(cè)地線的長(zhǎng)度為
[0083] dg(Ri，Rj) = | | logm(RiTRj) | |f，
[0084] 其中，logm( ·)是矩陣對(duì)數(shù)運(yùn)算符，Μ · I |F是矩陣的F范數(shù)，
[0085] RhK分別表示旋轉(zhuǎn)矩陣序列R(t)中的第i幀旋轉(zhuǎn)矩陣和第j幀旋轉(zhuǎn)矩陣。
[0086] (2)按照黎曼流形架構(gòu)，定義旋轉(zhuǎn)矩陣序列R(t)的平滑度為相鄰旋轉(zhuǎn)矩陣R的測(cè)地 距離的總和，且同時(shí)需保證，在盡可能平滑的情況下，使得平滑之后的相機(jī)運(yùn)動(dòng)軌跡不會(huì)脫 離原運(yùn)動(dòng)軌跡太多，描述上述要求的目標(biāo)函數(shù)為
[0088] 其中，R，表示第i幀平滑后的平滑旋轉(zhuǎn)矩陣，
[0089] α為控制穩(wěn)定軌跡平滑的權(quán)重因子，IT1+1表示第i+Ι幀平滑后的新的旋轉(zhuǎn)矩陣；
[0090] 通過(guò)黎曼流形約束平滑算法迭代求使得目標(biāo)函數(shù)最小的那個(gè)平滑旋轉(zhuǎn)矩陣心'， 即得到平滑后的平滑旋轉(zhuǎn)矩陣序列R'（t)，R'（t)為平滑相機(jī)運(yùn)動(dòng)軌跡；
[0091] 穩(wěn)像處理的具體步驟如下：
[0092] (1)首先將視頻幀采樣時(shí)間與陀螺儀采樣時(shí)間校準(zhǔn)，校準(zhǔn)式為
[0093] tb，=tb+td，
[0094] 式中，tb為視頻初始幀采樣時(shí)間，
[0095] tb '為與陀螺儀數(shù)據(jù)校準(zhǔn)后的視頻幀起始時(shí)間；
[0096] (2)視頻幀內(nèi)旋轉(zhuǎn)矩陣R"（ t3)，
[0097] 視頻幀第i行對(duì)應(yīng)的時(shí)間戳為
[0098] ti = tb，+tsX (i/h)，
[0099] 式中，ts表示一幀中從上到下逐行掃描曝光的時(shí)間，
[0100] h表示視頻幀總行數(shù)；
[0101] 通過(guò)對(duì)比校準(zhǔn)之后的視頻幀每一行的時(shí)間戳與陀螺儀數(shù)據(jù)時(shí)間戳，確定用于生成 每一行像素坐標(biāo)旋轉(zhuǎn)矩陣所對(duì)應(yīng)的陀螺儀數(shù)據(jù)組;設(shè)f(l)+td為校準(zhǔn)后的第一幀視頻時(shí)間 戳、f(2)+td為校準(zhǔn)后的第二幀視頻時(shí)間戳、每一行視頻時(shí)間戳分別標(biāo)注為t(/、t^、 t 27……、g(n)表示第η組陀螺儀數(shù)據(jù)時(shí)間戳，確定視頻幀每一行對(duì)應(yīng)的idxa-idxb組陀螺儀 數(shù)據(jù)，從而生成代表每一行運(yùn)動(dòng)的幀內(nèi)旋轉(zhuǎn)矩陣R"（t 3)，將獲取的幀內(nèi)每一行的旋轉(zhuǎn)矩陣 與其所在幀的幀間旋轉(zhuǎn)矩陣融合，獲取各行的像素點(diǎn)位置的對(duì)應(yīng)關(guān)系
[0102] χ2 = ΚΚ7 (t2)R7
[0103] 式中，X1為未穩(wěn)像視頻的像素x坐標(biāo)，
[0104] X2為穩(wěn)像視頻像素X坐標(biāo)，
[0105] f (ω表示t時(shí)平滑后的新旋轉(zhuǎn)矩陣，
[0106] R' (t2)表示t2時(shí)平滑后的新旋轉(zhuǎn)矩陣；
[0107] (3)設(shè)視頻幀圖像寬w\高h(yuǎn)，將視頻幀圖像各像素點(diǎn)坐標(biāo)二維網(wǎng)格化表示，以圖像 左下角像素點(diǎn)為坐標(biāo)原點(diǎn)，則圖像像素點(diǎn)的網(wǎng)格化坐標(biāo)的橫坐標(biāo)值X，縱坐標(biāo)值Y分別為
[0109] 其中，X和Y都是h行？列，
[0110] 通過(guò)下式
[0112]對(duì)視頻圖像幀進(jìn)行逐行的坐標(biāo)轉(zhuǎn)換，使網(wǎng)格化圖像像素坐標(biāo)[ΧηΥ,Γ轉(zhuǎn)換得到旋 轉(zhuǎn)變換后的坐標(biāo)位置[足，<]7，
[0113]式中，f( ·)函數(shù)的作用是將齊次坐標(biāo)轉(zhuǎn)為非齊次坐標(biāo)表示；
[0114] (4)將網(wǎng)格化圖像像素坐標(biāo)[ΧηΥ」1反轉(zhuǎn)換回原始相機(jī)拍攝的原視頻幀像素點(diǎn)坐 標(biāo)處，根據(jù)未處理前的原始視頻幀的像素坐標(biāo)與像素值之間的對(duì)應(yīng)關(guān)系，插值求出穩(wěn)定后 的視頻幀的像素坐標(biāo)對(duì)應(yīng)未處理前的原始視頻幀的像素值得到視頻幀序列；
[0115] 插值之后的新的視頻幀序列，經(jīng)過(guò)裁邊消除黑邊效應(yīng)后，利用video writer函數(shù) 存入一個(gè)新的視頻對(duì)象中，形成最終的穩(wěn)像視頻。
[0116] 如圖6所示，點(diǎn)A( 1，1 )、B(2，2)、C(0，3)分別為穩(wěn)定后視頻幀上三 個(gè)像素點(diǎn)，其各自對(duì)應(yīng)的像素值為Pa、Pb、Pc。由記錄而來(lái)的陀螺儀數(shù)據(jù)，依據(jù)
式做對(duì)應(yīng)的變換，將穩(wěn)定后視頻圖經(jīng)過(guò)一定旋轉(zhuǎn)后生 成原始相機(jī)拍攝的未做處理前的視頻幀位置，如圖6中虛線部分所示。其中A-Y 、C ，則根據(jù)未處理前的原始視頻幀像素坐標(biāo)與像素值之間的對(duì)應(yīng)關(guān)系，插值求出穩(wěn)定后 的視頻幀的像素坐標(biāo)對(duì)應(yīng)未處理前的原始視頻幀的像素值，也就是將A'、B'、C'處的像素值 直接賦值給A、B、C，從而求得穩(wěn)定后視頻幀各點(diǎn)的像素值。需要說(shuō)明的是，穩(wěn)定后的視頻幀 在未處理前的原始視頻幀有些有對(duì)應(yīng)的像素值，有些則沒(méi)有，如像素點(diǎn)C所示，此種情況會(huì) 形成黑邊效應(yīng)，后期需要裁邊消除。
[0117] 發(fā)明的用于微納衛(wèi)星的視頻穩(wěn)像方法，該方法在利用搭建好的微納衛(wèi)星平臺(tái)上， 僅使用一種姿態(tài)傳感器陀螺儀，利用其獲取的物理信息，結(jié)合微小相機(jī)拍攝的視頻信息，對(duì) 抖動(dòng)的視頻進(jìn)行處理，實(shí)現(xiàn)穩(wěn)像;僅使用陀螺儀進(jìn)行視頻穩(wěn)像，更符合微納衛(wèi)星在質(zhì)量、體 積、成本、功耗等方面的嚴(yán)格要求。
[0118] 盡管以上結(jié)合附圖對(duì)本發(fā)明的實(shí)施方案進(jìn)行了描述，但是本發(fā)明并不局限于上述 的具體實(shí)施方案和應(yīng)用領(lǐng)域，上述的具體實(shí)施方案僅僅是示意性的、指導(dǎo)性的，而不是限制 性的。本領(lǐng)域的普通技術(shù)人員在說(shuō)明書(shū)的啟示下，在不脫離本發(fā)明權(quán)利要求所保護(hù)的范圍 的情況下，還可以做出很多種的形式，這些均屬于本發(fā)明保護(hù)之列。
【主權(quán)項(xiàng)】
1. 一種用于微納衛(wèi)星的視頻穩(wěn)像方法，其特征在于:通過(guò)相機(jī)獲取景物的視頻信息，通 過(guò)陀螺儀獲取相機(jī)運(yùn)動(dòng)信息;然后將視頻信息和相機(jī)運(yùn)動(dòng)信息進(jìn)行融合處理得到相機(jī)運(yùn)動(dòng) 軌跡，再通過(guò)平滑算法對(duì)相機(jī)運(yùn)動(dòng)軌跡進(jìn)行平滑處理得到平滑相機(jī)運(yùn)動(dòng)軌跡，最后利用平 滑相機(jī)運(yùn)動(dòng)軌跡對(duì)視頻信息進(jìn)行穩(wěn)像處理得到穩(wěn)像視頻。2. 如權(quán)利要求1所述的一種用于微納衛(wèi)星的視頻穩(wěn)像方法，其特征在于，所述融合處理 的具體步驟如下： (1) 在視頻信息中，通過(guò)SIFT特征點(diǎn)提取算法提取η個(gè)當(dāng)前幀特征點(diǎn)，然后通過(guò)SIFT匹 配算法尋找當(dāng)前幀特征點(diǎn)在下一幀中的視頻匹配點(diǎn)，得到η個(gè)視頻匹配點(diǎn)a n=(x，y，z)T，其 中X，y，z分別代表了特征點(diǎn)an的三維坐標(biāo)； (2) 用陀螺儀數(shù)據(jù)將當(dāng)前幀特征點(diǎn)A匹配到下一幀對(duì)應(yīng)位置，利用陀螺儀數(shù)據(jù)匹配時(shí)， 給定td不同的值，則得出η個(gè)運(yùn)動(dòng)匹配點(diǎn)bi、b2......bn，其中bn=(x'，y'，z'） τ，上式中X'，y'， z'分別為特征點(diǎn)bn的三維坐標(biāo)； (3) 計(jì)算視頻匹配Aan與運(yùn)動(dòng)匹配點(diǎn)bn之間的距離平方和Sn，s (an，bn)表示對(duì)應(yīng)的視頻匹配點(diǎn)an與運(yùn)動(dòng)匹配點(diǎn)bn之間的距離， 使得Sn值最小時(shí)的td值，即為校準(zhǔn)值； (4) 陀螺儀測(cè)量的是物體繞三軸旋轉(zhuǎn)的角速度w = (Wx，wy，Wz)，將其乘以時(shí)間轉(zhuǎn)換成其 角度值r = (rx，ry，rz)，旋轉(zhuǎn)角度Θ = norm(r)，將角度值r歸一化，得其轉(zhuǎn)軸的單位向量k = r/ Θ，陀螺儀測(cè)得的旋轉(zhuǎn)向量用旋轉(zhuǎn)矩陣的形式表示為式中，Sk是早位冋量k的反對(duì)禰矩陣，表示為k是一個(gè)矩陣，Iu，k2，k3分別是他們的三個(gè)元素， k = r/0 = (γχ/Θ,ry/0,Γζ/θ) = (ki,k2,k3), I為3 X 3的單位矩陣； 將每一幀視頻中的陀螺儀測(cè)得的每一組物體繞三軸旋轉(zhuǎn)的角速度分別利用羅德里格 旋轉(zhuǎn)公式轉(zhuǎn)換為其相應(yīng)的旋轉(zhuǎn)矩陣R(9)，然后將每一幀的數(shù)個(gè)旋轉(zhuǎn)矩陣R(0)通過(guò)相乘融 合，最后生成代表每一幀的旋轉(zhuǎn)矩陣R，綜合視頻各幀的旋轉(zhuǎn)矩陣R，形成隨時(shí)間變換的視頻 幀序列的旋轉(zhuǎn)矩陣序列R(t)，旋轉(zhuǎn)矩陣序列為相機(jī)運(yùn)動(dòng)軌跡。3. 如權(quán)利要求2所述的一種用于微納衛(wèi)星的視頻穩(wěn)像方法，其特征在于:所述平滑處理 的具體步驟如下： (1)在黎曼幾何的流形基礎(chǔ)上，直接平滑旋轉(zhuǎn)矩陣序列R(t)，最短測(cè)地線的長(zhǎng)度為 dg(Ri，Rj) = I I Iogm(Ri1Rj) I |f， 其中，l〇gm( ·)是矩陣對(duì)數(shù)運(yùn)算符，I I · I |f是矩陣的F范數(shù)， 心、心分別表示旋轉(zhuǎn)矩陣序列R(t)中的第i幀旋轉(zhuǎn)矩陣和第j幀旋轉(zhuǎn)矩陣； (2)按照黎曼流形架構(gòu)，定義旋轉(zhuǎn)矩陣序列R(t)的平滑度為相鄰旋轉(zhuǎn)矩陣R的測(cè)地距離 的總和，描述上述要求的目標(biāo)函數(shù)為其中，R/表示第i幀平滑后的平滑旋轉(zhuǎn)矩陣， α為控制穩(wěn)定軌跡平滑的權(quán)重因子，ΙΤ1+1表示第i+Ι幀平滑后的新的旋轉(zhuǎn)矩陣； 通過(guò)黎曼流形約束平滑算法迭代求使得目標(biāo)函數(shù)最小的那個(gè)平滑旋轉(zhuǎn)矩陣R/，即得到 平滑后的平滑旋轉(zhuǎn)矩陣序列f (t)，IT (t)為平滑相機(jī)運(yùn)動(dòng)軌跡。4.如權(quán)利要求3所述的一種用于微納衛(wèi)星的視頻穩(wěn)像方法，其特征在于:所述穩(wěn)像處理 的具體步驟如下： (1) 首先將視頻幀采樣時(shí)間與陀螺儀采樣時(shí)間校準(zhǔn)，校準(zhǔn)式為 tb 一 tb+td， 式中，tb為視頻初始幀采樣時(shí)間， 為與陀螺儀數(shù)據(jù)校準(zhǔn)后的視頻幀起始時(shí)間； (2) 視頻幀內(nèi)旋轉(zhuǎn)矩陣R〃（t3)， 視頻幀第i行對(duì)應(yīng)的時(shí)間戳為 ti = tb7 +ts X (i/h), 式中，ts表示一幀中從上到下逐行掃描曝光的時(shí)間，h表示視頻幀總行數(shù)； 通過(guò)對(duì)比校準(zhǔn)之后的視頻幀每一行的時(shí)間戳與陀螺儀數(shù)據(jù)時(shí)間戳，確定用于生成每一 行像素坐標(biāo)旋轉(zhuǎn)矩陣所對(duì)應(yīng)的陀螺儀數(shù)據(jù)組;設(shè)f(l)+td為校準(zhǔn)后的第一幀視頻時(shí)間戳、f (2)+td為校準(zhǔn)后的第二幀視頻時(shí)間戳、每一行視頻時(shí)間戳分別標(biāo)注為V 〇、V i、V2.......g (η)表示第η組陀螺儀數(shù)據(jù)時(shí)間戳，確定視頻幀每一行對(duì)應(yīng)的idxa-idxb組陀螺儀數(shù)據(jù)，從而 生成代表每一行運(yùn)動(dòng)的幀內(nèi)旋轉(zhuǎn)矩陣R〃（t3)，將獲取的幀內(nèi)每一行的旋轉(zhuǎn)矩陣與其所在幀 的幀間旋轉(zhuǎn)矩陣融合，獲取各行的像素點(diǎn)位置的對(duì)應(yīng)關(guān)系 X2 = KR'（t2)R7 (tl)R〃（t3)K-1Xl, 式中，X1為未穩(wěn)像視頻的像素X坐標(biāo)， X2為穩(wěn)像視頻像素X坐標(biāo)， IT (to表示t時(shí)平滑后的新旋轉(zhuǎn)矩陣， IT (t2)表示t2時(shí)平滑后的新旋轉(zhuǎn)矩陣； (3) 設(shè)視頻幀圖像寬？、高h(yuǎn)，將視頻幀圖像各像素點(diǎn)坐標(biāo)二維網(wǎng)格化表示，以圖像左下 角像素點(diǎn)為坐標(biāo)原點(diǎn)，則圖像像素點(diǎn)的網(wǎng)格化坐標(biāo)的橫坐標(biāo)值X，縱坐標(biāo)值Y分別為： 其中，X和Y都是h行？列， 7 通過(guò)下式對(duì)視頻圖像幀進(jìn)行逐行的坐標(biāo)轉(zhuǎn)換，使網(wǎng)格化圖像像素坐標(biāo)[X1, Yi]T轉(zhuǎn)換得到旋轉(zhuǎn)變 換后的坐標(biāo)位置丨義.· K J Z， 式中，f( ·)函數(shù)的作用是將齊次坐標(biāo)轉(zhuǎn)為非齊次坐標(biāo)表示； (4)將網(wǎng)格化圖像像素坐標(biāo)[X1, Y1]1反轉(zhuǎn)換回原始相機(jī)拍攝的原視頻幀像素點(diǎn)坐標(biāo)處， 根據(jù)未處理前的原始視頻幀的像素坐標(biāo)與像素值之間的對(duì)應(yīng)關(guān)系，插值求出穩(wěn)定后的視頻 幀的像素坐標(biāo)對(duì)應(yīng)未處理前的原始視頻幀的像素值得到視頻幀序列。5.如權(quán)利要求4所述的一種用于微納衛(wèi)星的視頻穩(wěn)像方法，其特征在于:插值之后的新 的視頻幀序列，經(jīng)過(guò)裁邊消除黑邊效應(yīng)后，利用video writer函數(shù)存入一個(gè)新的視頻對(duì)象 中，形成最終的穩(wěn)像視頻。
【文檔編號(hào)】H04N5/21GK106027852SQ201610474028
【公開(kāi)日】2016年10月12日
【申請(qǐng)日】2016年6月24日
【發(fā)明人】梅少輝, 萬(wàn)帥, 袁建平, 侯建文, 羅建軍, 袁欣
【申請(qǐng)人】西北工業(yè)大學(xué)