一種基于高精度運動平臺的多相機標定方法
【專利摘要】本發明一種基于高精度運動平臺的多相機標定方法，在整個工作區域內，通過載物臺固定在高精度運動平臺上的標定板可以做任意已知的旋轉平移等線性運動，獲得標定板在世界坐標系下的位姿。標定板在高精度運動平臺的控制下運動，使其出現在某個相機或多個相機的視野中，相機拍攝圖像，尋找世界坐標系下與圖像坐標系下對應點對坐標，最后采用全局優化算法，整體一次求解各個相機參數，克服了現有標定方法需要對多相機系統中的相機逐個標定存在的低效率、有較大累積誤差或設計特定標定部件的麻煩等缺點，實現了多相機系統整體的一次性標定，具有極其重要的工程應用價值，完成高精度標定及三維重建。測量過程簡單，標定結果精確，提高了工作效率。
【專利說明】
一種基于高精度運動平臺的多相機標定方法
技術領域
[0001] 本發明涉及計算機視覺領域中的多相機系統，具體為一種基于高精度運動平臺的 多相機標定方法。
【背景技術】
[0002] 多相機系統在計算機視覺領域相當常見，如在3D重建、運動捕捉、多視點視頻等應 用中，常常需要各種不同相機、光源、存儲設備的組成的多相機系統。多相機系統標定，即確 定各個相機的內、外參數，是多相機系統進行可靠高效工作不可或缺的重要步驟。
[0003] 以往，多相機系統標定一般采用兩種方式：（1)使用傳統標定方式，但這些標定物 存在自身遮擋，無法從多個視角同時觀測到標定物，因而無法一次性地標定多相機系統，只 能先兩兩進行標定，最后轉換到同一坐標系下，實現全局標定。由于涉及到各種不精確的坐 標轉換，存在較大的累積誤差;并且需要對多相機系統中的相機逐個標定，效率極低。（2)設 置特定的標定物，在多相機標定過程中使其繞固定軸轉動或靜止，由于特定標志物不存在 自身遮擋，多相機可以同時拍攝，一起標定。但在實際使用中標定物設計比較困難且沒有普 遍性，實用性差且標定過的參數精度低。當任意兩個相機的視野重疊區域小或根本沒有重 疊時，上述兩種方法便無能為力。

【發明內容】

[0004] 針對現有技術中存在的問題，本發明提供一種基于高精度運動平臺的多相機標定 方法，在保證操作高效率的前提下，提高標定精度。
[0005] 本發明是通過以下技術方案來實現：
[0006] -種基于高精度運動平臺的多相機標定方法，包括如下步驟，
[0007] 步驟1，初始化多相機標定系統，所述的多相機標定系統包括載物臺和高精度運動 平臺，以及至少兩個相機;所有相機均勻布置于載物臺的上方，且相機的取景框均朝向載物 臺，載物臺上固定放置標定板，高精度運動平臺控制載物臺的運動;所述的高精度運動平臺 具有6個及以上自由度，位移精度達到0.1_的運動平臺；
[0008] 步驟2,在初始位姿的標定板上建立世界坐標系，并在標定板上選取至少五個標定 點，得到所有標定點的世界坐標；
[0009] 步驟3,通過高精度運動平臺的控制，將標定板從上一位姿移動到下一位姿，并使 標定板填充到未拍攝兩幅標定板在不同位姿下圖像的一個或多個當前相機視野內；
[0010] 步驟4,一個或多個當前相機對當前位姿下的標定板分別進行圖像采集，并獲取標 定板中步驟2選取的至少五個標定點在圖像上對應點的圖像坐標和在世界坐標系上的世界 坐標；
[0011] 步驟5,重復步驟3和4直到每個相機至少拍攝兩幅標定板在不同位姿下的圖像；
[0012] 步驟6,對所有相機內外參數進行全局標定，采用全局算法對步驟4得到的所有標 定點的圖像坐標與其世界坐標的關系進行優化，確定各個相機精確的標定參數。
[0013] 優選的，步驟2中，初始位姿的標定板位于任意一個或多個相機的視野內。
[0014] 優選的，標定板填充到對應相機視野中時，使得拍攝圖像中標定板所占區域占一 半以上。
[0015] 優選的，在求解標定點的世界坐標時，假定標定板坐標系與載物臺坐標系重合，若 不重合則經過向量運算進行相互轉化。
[0016] 優選的，當多個相機對標定板同時進行拍攝時，所述的多個相機的視野重疊，且在 視野重疊區域能夠拍攝到全部的標定板。
[0017] 優選的，標定板采用棋盤格標定板，初始姿態下標定板的任意一個點作為世界坐 標系原點〇w，標定板互相垂直的兩邊界為Xw軸與Yw軸，Z w垂直與標定板平面。
[0018] 優選的，當所有相機依次進行對標定板的拍攝標定時，具體步驟如下，
[0019] 步驟1)，初始化多相機標定系統，所述的多相機標定系統包括載物臺和高精度運 動平臺，以及至少兩個相機;所有相機均勻布置于載物臺的上方，且相機的取景框均朝向載 物臺，載物臺上固定放置標定板，高精度運動平臺控制載物臺的運動;所述的高精度運動平 臺具有6個及以上自由度，位移精度達到0.1mm的運動平臺；
[0020] 步驟2)，在初始位姿(RQ，To)的標定板上建立世界坐標系0W-XWY WZW，其原點0W為標 定板上任意一個固定的點；并選取η個標定點，其中，η為正整數，且5; η個標定點的坐標 分別為（Χο?,Υο?,Ο)，（Χ〇2，Υ〇2，0)··· (Χ〇η，Υ〇η，0);
[0021] 步驟3)，通過高精度運動平臺的控制，將標定板從上一位姿(Rt^IVO移動到下一 位姿(υο,使標定板填充到未拍攝兩幅標定板在不同位姿下圖像的一個當前相機視野 內；
[0022] 步驟4)，當前相機對當前位姿(UO下的標定板分別進行圖像采集，并獲取標定 板中步驟1)選取的η個標定點在圖像上對應點的圖像坐標分別為（Uil，Vil)，（Ui2, Vi2l··· (11土11，￥111)和世界坐標(父11，￥11，211)，（Xi2，Yi2，Zi2)…(Xin，Yin，Zin);
[0023] 步驟5)，重復步驟3)和4)直到每個相機至少拍了兩幅標定板在不同位姿下的圖 像，共拍攝了 m個標定板位姿下的m張圖像；
[0024] 步驟6)，對所有相機拍攝到圖像中對應點的像點坐標進行全局標定，采用全局算 法對步驟4)得到的所有對應點對進行優化，確定各個相機精確的標定參數。
[0025] 進一步，在步驟3)中，標定板下一位姿(Ri，Ti)通過如下公式得到，
[0026] (Ri，Ti) = (R(i-i)i*Ri-i，R(i-i)i*Ti-i+T(i-i)i)
[0027] 其中，（Ri-i，Ti-i)為上一位姿；（R(i-i)i，T(i-i)i)為此運動前后標定板位置關系，能夠 通過讀取高精度運動平臺移動的參數獲得。
[0028] 進一步，通過在步驟4)中得到第i個相機的圖像坐標系上的標定點圖像坐標(Uii, ￥土1)，（11土2，￥土2)."(11土11，￥土11)與標定點基于世界坐標系下坐標（父土1，￥土1，2土1)，（父土2，￥土2,2土2)··· (Xin，Yin，Zin)的對應關系;在步驟6 )中對所有相機的內部參數與外部參數進行全局標定;其 中，
[0029] (Χ?, Υ?, Zii) = (Χοι, Υοι, Zoi)*Ri+Ti, (Xi2, Yi2, Zi2) (X02, Y02,0)*Ri+Ti, ,
[0030] (Xin , Yin , Zin) (Xon , Yon , 0 )*Ri+Ti 〇
[0031] 進一步，步驟6)中全局優化的具體步驟如下， m η
[0032]以為目標函數，以張正友提出的棋盤格標定算法方程為模型， /-1 /-1 采用最小二乘法或其他優化算法計算各個相機內外參數;其中，Qu是第j個標定點在第i個 位姿上的像點計算值，Xlj是第j個標定點在第i個位姿上的像點測量值，是叫與 Xij之間的范數；
[0033]得到的各個相機的外參(R1，!11)，（Rn，T n)，···分別為各個相機坐標相對于步驟2)選 取的世界坐標系的位置關系，則第k個相機關于第一個相機的外參為(Rkl，Tk1)，其中（R kl， Tkl) = (_Rk*Rl，_Rk*Tl_Tk)。
[0034] 與現有技術相比，本發明具有以下有益的技術效果：
[0035] 本發明在整個工作區域內，通過載物臺固定在高精度運動平臺上的標定板可以做 任意已知的旋轉平移等線性運動，獲得標定板在世界坐標系下的位姿。標定板在高精度運 動平臺的控制下運動，使其出現在某個相機或多個相機的視野中，相機拍攝圖像，尋找世界 坐標系下與圖像坐標系下對應點對坐標，最后采用全局優化算法，整體一次求解各個相機 參數，克服了現有標定方法需要對多相機系統中的相機逐個標定存在的低效率、有較大累 積誤差或設計特定標定部件的麻煩等缺點，實現了多相機系統整體的一次性標定，具有極 其重要的工程應用價值，完成高精度標定及三維重建。能夠進行高精度的測量和自動控制 能力，測量過程簡單，標定結果精確，有效的提高了工作效率。而當多個相機中的一個發生 移動時，該多相機系統需要重新標定。
【附圖說明】
[0036] 圖1為本發明實例中所述的多相機標定系統的應用布局示意圖。
[0037] 圖2為本發明實例中所述方法中以第一個相機標定為例標定過程示意圖。
[0038] 圖3為本發明實例中所述方法的流程圖。
[0039] 圖1中：棋盤格標定板1、相機采集控制器2、多相機系統3、各個相機視野4、高精度 運動平臺控制器5。
【具體實施方式】
[0040] 下面結合具體的實施例對本發明做進一步的詳細說明，所述是對本發明的解釋而 不是限定。
[0041] 多相機系統通常要求攝像機或照相機從多個角度拍攝物體。當待重建物體或人在 同一時刻不同觀察角度的圖像，利用多相機系統的標定結果可以計算出待重建物體或人的 三維信息，實現運動捕獲等目標。因而標定是該系統最基本和最重要的一步。本發明的相機 布局結構采用一般的多相機系統結構即可，對多相機的安裝位置和姿態沒有特殊要求;如 圖1所示，本優選實例中多相機系統標定系統的布置示意圖，標定板移動范圍為多相機系統 的工作區，即相機的所有視野區。
[0042] 棋盤格標定板1位于多相機系統3的各個相機視野4內，棋盤格標定板1通過載物臺 固定在高精度運動平臺的運動部件上，如機械手臂，在控制器5的控制下運動部件的運動將 帶動棋盤格標定板1在工作區內做相同的運動；多相機系統3在相機采集控制器2的控制下 拍攝在其工作區域內運動的標定部件1的圖像，用于對多相機系統3的標定。
[0043] 本發明提出的標定方法主要包括獲取標定板的運動參數，獲取標定板的圖像、圖 像輸入、從圖像中提取標志點圖像坐標并構造圖像點對應及利用全局或非線性優化算法優 化標定結果等步驟，應當說明在整個標定過程中只能用高精度運動平臺控制器控制標定 板，不允許手動撥動或觸動標定板。本優選實例中采用的棋盤格標定板1，標定板上的棋盤 格頂點可輕松識別，作為標志點。如圖3所示，以相機逐一拍攝圖像進行說明，具體步驟如 下。
[0044] 步驟1，初始化多相機系統標定系統。其中基于高精度運動平臺的多相機標定裝置 中應用了高精度的運動平臺，所述的高精度運動平臺指的是具有6個及以上自由度，位移精 度可達0.1mm的運動平臺，包括高精度云臺，高精度機械臂等高精度運動平臺。運動平臺可 以帶動標定板在工作區域內做各種已知軌跡的運動。
[0045] 步驟2,如圖3的（1)所示，以初始位姿(RQ，To)的標定板左上角為世界坐標系原點 〇w，標定板互相垂直的兩邊界為X w軸與Yw軸，Zw垂直與標定板平面;在標定板上選取η多5個 標定點，其當標定板處于初始位姿(R〇，T〇)時在世界坐標系下的坐標分別為(X Q1，YQ1，0)， (X〇2，Y〇2，0)，…，（X〇 n，Y〇n，0);本優選實例中，定位世界坐標系時，標定板的初始位姿可以是 工作區的任意位置，但考慮到標定的簡單期間，首先移動標定板，使其盡量填充第一個相機 視野。選取當前位姿為初始位姿;標定板上的標定點可以隨機選取，也可以選擇容易計算的 η個點，但這η個點要均勻分布在標定板上，且η不能少于5,越多越好。
[0046] 步驟3,如圖3的（2)所示，標定板在工作區內從上一位姿(RhJh)運動到下一位 姿(RuTO,使標定板盡量填充第k個相機視野；由于標定板固定在高精度運動平臺上，在此 運動前后標定板位置關系(Ru-m，Tu-m)能夠通過讀取高精度運動平臺移動的參數獲的精 確表示，所以（心，!^) = (1?(卜1)押1^-1，1^-1)1*1\-1+1'(卜1)〇。標定板填充相機視野是指在所拍攝 的圖像中標定板應該至少占圖像的二分之一。
[0047] 因為大的標定板由于工藝上制作的問題，板面平整度不高，嚴重影響標定精度;所 以本發明采用的標定板是經典的棋盤格小標定板，且標定點之間的幾何信息已知(棋盤格 大小已知)和標定板運動參數已知(采用高精度運動平臺控制標定板運動），標定板通過載 物臺牢牢固定在運動部件上面，運動平臺運動幾何信息與標定板運動幾何信息相同，也就 是標定板的坐標系應與高精度運動平臺的坐標系重合，假若不重合的再經過一定量的向量 運算計算轉化。操作者可以通過高精度運動平臺控制器控制運動部件的運動來控制標定板 的剛體運動。在每次運動后整個標定板應盡可能填滿整個相機視野。
[0048] 步驟4,如圖3的(3)所示，第k個相機對當前位姿(RbTO下的標定板進行圖像采集， 并獲取標定板中步驟2選取的η個標定點在圖像上對應點的像A*#(Uii，Vii)，（Ui2，Vi2)··· (Ui n，Vin);可以得到第k個相機的圖像坐標系上的標定點圖像坐標(Uil，Vil)，（Ui2，Vi2l··· (11^，￥：1 11)與標定板標定點在世界坐標系下坐標仏1，￥^石1)，仏2，￥12石2) -仏11，￥^，2^) 的對應關系，用于步驟6中所有相機的內參與外參的全局標定;其中，
[0049] (Xii, Yii, Zil) = (Χοι, Υοι, Zoi)*Ri+Ti, (Xi2, Yi2, Zi2) (X02, Y02,0)*Ri+Ti, ,
[0050] (Xin，Yin，Zin) (X0n，Y0n，0 )*Ri+Ti ; 〇
[0051] 在尋找標定板標定點在圖像中的對應點時，若某個或多個點難以找到，可以用其 他點代替或者忽略該點，但是一定要保證點的個數η多5且分布均勻。為了提高相機參數的 精度，每個相機最好拍攝多個位姿下標定板的圖像，尋找標定點。且多位姿盡量包括各種角 度，即正對相機，標定板位于圖像左上、上中、右上、中間、左下、下中、右下和往上、下、左、右 的旋轉。
[0052]步驟5,如圖3的(4)所示，重復步驟3與步驟4直到每個相機至少拍攝兩幅標定板在 不同位姿下的圖像，共拍攝了 m個標定板位姿下的m張圖像；
[0053]步驟6,如圖3的（5)所示，全局高精度定位，采用全局算法對步驟三得到的所有對 應點對進行優化，確定各個相機精確的標定參數。 m η
[0054] 全局優化算法以為目標函數，其中Qlj是第j個標定點在第i個 ?=ι Μ 位姿上的像點計算值，Xlj是第j個標定點在第i個位姿上的像點測量值，是叫與 XlJ之間的范數；以張正友提出的棋盤格標定算法方程為模型，采用最小二乘法或其他迭代 優化算法求解各個相機的內參和外參R 1，T1矩陣，則第k個相機關于第一個相機的外參為 (Rkl，T kl)，其中（Rkl，Tkl)=(-壚*!?1，-Rk*! 11-!4)。
[0055] 本發明若某一位姿下標定板同時填充某2個或者多個相機視野，多個相機可以同 時拍攝標定板在當前位姿下的圖像，同時尋找標定板標定點的在圖像上的對應點。當多個 相機中的一個發生移動時，該多相機系統需要重新標定。
[0056] 如圖2所示，以第一個相機標定為例，說明其他相機的標定過程中的位姿轉換：圖2 右下角為建立的圖像坐標系0-UV。圖2左下角為建立的第一個相機坐標系Od-XcaYdZca。圖2 左上角為標定板在初始位姿下建立的世界坐標系OfXwYwZw。標定板在高精度運動平臺的控 制下由初始位姿移動到某個位置后建立第1個世界坐標系〇 wi-XwiYwiZwl，圖2右上角，該移動 過程參數(RQ1，T Q1)可以由高精度運動平臺直接或者間接得到。在全局標定過程后便可得到 第一個相機坐標系與世界坐標系的位置關系(R 1，!4)。
【主權項】
1. 一種基于高精度運動平臺的多相機標定方法，其特征在于，包括如下步驟， 步驟1，初始化多相機標定系統，所述的多相機標定系統包括載物臺和高精度運動平 臺，W及至少兩個相機;所有相機均勻布置于載物臺的上方，且相機的取景框均朝向載物 臺，載物臺上固定放置標定板，高精度運動平臺控制載物臺的運動;所述的高精度運動平臺 具有6個及W上自由度，位移精度達到0.1mm的運動平臺； 步驟2,在初始位姿的標定板上建立世界坐標系，并在標定板上選取至少五個標定點， 得到所有標定點的世界坐標； 步驟3,通過高精度運動平臺的控制，將標定板從上一位姿移動到下一位姿，并使標定 板填充到未拍攝兩幅標定板在不同位姿下圖像的一個或多個當前相機視野內； 步驟4,一個或多個當前相機對當前位姿下的標定板分別進行圖像采集，并獲取標定板 中步驟2選取的至少五個標定點在圖像上對應點的圖像坐標和在世界坐標系上的世界坐 標； 步驟5,重復步驟3和4直到每個相機至少拍攝兩幅標定板在不同位姿下的圖像； 步驟6,對所有相機內外參數進行全局標定，采用全局算法對步驟4得到的所有標定點 的圖像坐標與其世界坐標的關系進行優化，確定各個相機精確的標定參數。2. 根據權利要求1所述的一種基于高精度運動平臺的多相機標定方法，其特征在于，步 驟2中，初始位姿的標定板位于任意一個或多個相機的視野內。3. 根據權利要求1所述的一種基于高精度運動平臺的多相機標定方法，其特征在于，標 定板填充到對應相機視野中時，使得拍攝圖像中標定板所占區域占一半W上。4. 根據權利要求1所述的一種基于高精度運動平臺的多相機標定方法，其特征在于，在 求解標定點的世界坐標時，假定標定板坐標系與載物臺坐標系重合，若不重合則經過向量 運算進行相互轉化。5. 根據權利要求1所述的一種基于高精度運動平臺的多相機標定方法，其特征在于，當 多個相機對標定板同時進行拍攝時，所述的多個相機的視野重疊，且在視野重疊區域能夠 拍攝到全部的標定板。6. 根據權利要求1所述的一種基于高精度運動平臺的多相機標定方法，其特征在于，標 定板采用棋盤格標定板，初始姿態下標定板的任意一個點作為世界坐標系原點Ow，標定板 互相垂直的兩邊界為Xw軸與Yw軸，Zw垂直與標定板平面。7. 根據權利要求1所述的一種基于高精度運動平臺的多相機標定方法，其特征在于，當 所有相機依次進行對標定板的拍攝標定時，具體步驟如下， 步驟1)，初始化多相機標定系統，所述的多相機標定系統包括載物臺和高精度運動平 臺，W及至少兩個相機;所有相機均勻布置于載物臺的上方，且相機的取景框均朝向載物 臺，載物臺上固定放置標定板，高精度運動平臺控制載物臺的運動;所述的高精度運動平臺 具有6個及W上自由度，位移精度達到0.1mm的運動平臺； 步驟2)，在初始位姿(Ro，To)的標定板上建立世界坐標系Ow-XwYwZw，其原點Ow為標定板上 任意一個固定的點；并選取η個標定點，其中，η為正整數，且n>5;n個標定點的坐標分別為 (Χ〇1，Υ〇1，0)，（Χ〇2，Υ〇2,0)···(Χ〇η，&η，0); 步驟3)，通過高精度運動平臺的控制，將標定板從上一位姿(Ri-i，Ti-i)移動到下一位姿 (Ri，Ti)，使標定板填充到未拍攝兩幅標定板在不同位姿下圖像的一個當前相機視野內； 步驟4)，當前相機對當前位姿(Ri，Ti)下的標定板分別進行圖像采集，并獲取標定板中 步驟1)選取的η個標定點在圖像上對應點的圖像坐標分別為(Uil，Vil)，（Ui2，Vi2)'''（Uin，Vin) 和世界坐標. 步驟5)，重復步驟3)和4)直到每個相機至少拍了兩幅標定板在不同位姿下的圖像，共 拍攝了 m個標定板位姿下的m張圖像； 步驟6)，對所有相機拍攝到圖像中對應點的像點坐標進行全局標定，采用全局算法對 步驟4)得到的所有對應點對進行優化，確定各個相機精確的標定參數。8. 根據權利要求7所述的一種基于高精度運動平臺的多相機標定方法，其特征在于，在 步驟3)中，標定板下一位姿(Ri，Ti)通過如下公式得到， (Ri, Ti) = (R(i-i)i*Ri-i ,R(i-i)i*Ti-i 巧(i-i)i) 其中，（Rl-l，Ti-l)為上一位姿；（R(i-l)i，T(i-l)i)為此運動前后標定板位置關系，能夠通過 讀取高精度運動平臺移動的參數獲得。9. 根據權利要求7所述的一種基于高精度運動平臺的多相機標定方法，其特征在于，通 過在步驟4)中得到第i個相機的圖像坐標系上的標定點圖像坐標（Uil，Vil)，（Ui2, Vi2l··· (Uin , Vin)與柄走點基于世界坐t不系下坐柄, Yil , Zil ) , (Xi2 , Yi2 , Zi2 )…（Xin , Yin , Zin)的對 應關系;在步驟6)中對所有相機的內部參數與外部參數進行全局標定;其中， (Xil，Yil，Zil ) = (Xoi，Yoi，Zoi )*Ri巧i，（Xi2，Yi2，Zi2 ) (X〇2，Υ〇2，0 )*Ri巧i，...， (Xin , Yin , Zin) (Xon , Yon , 0 ) *Ri~l~Ti o10. 根據權利要求7所述的一種基于高精度運動平臺的多相機標定方法，其特征在于， 步驟6)中全局優化的具體步驟如下，為目標函數，W張正友提出的棋盤格標定算法方程為模型，采用 最小二乘法或其他優化算法計算各個相機內外參數;其中，Qu是第j個標定點在第i個位姿 上的像點計算值，XI堤第j個標定點在第i個位姿上的像點測量值，d(Qu，W)是知與xij之 間的范數； 得到的各個相機的外參(1?1，1'1)，（滬，1-)，-，分別為各個相機坐標相對于步驟2)選取的 世界坐標系的位置關系，則第k個相機關于第一個相機的外參為(Rki，Tki)，其中（Rki，T") = (-Rk*Ri，-Rk*Ti-Tk)。
【文檔編號】G06T7/00GK106097300SQ201610367154
【公開日】2016年11月9日
【申請日】2016年5月27日
【發明人】王飛, 顏峰, 張觀洲, 鄭南寧
【申請人】西安交通大學