一種基于邊緣檢測的集裝箱輪廓定位方法
【專利摘要】本發明涉及一種基于邊緣檢測的集裝箱輪廓定位方法，它用攝像頭采集集裝箱相對兩側的圖像并得上下鎖孔的粗定位范圍，將鎖孔的粗定位圖像轉為灰度圖并進行預處理，得到圖像I1,I2，對圖像I1,I2進行邊緣檢測，得到粗定位的上下鎖孔邊緣圖像I1',I'2；采用Hough直線檢測算法進行檢測，得到線段集合，采用DBCAN聚類算法把接近水平和垂直的線段保留，得到水平線段集合LH和垂直線段集合LV，獲得4個交點p1,p2,p3,p4由四個點構成一個四邊形即為集裝箱輪廓，由此實現集裝箱輪廓的定位。它有效地解決鎖孔圖像在邊緣檢測的時候存在干擾邊緣，以及Hough直線效果不佳等不足。
【專利說明】
一種基于邊緣檢測的集裝箱輪廓定位方法
技術領域
[0001] 本發明屬于計算機視覺技術和圖像處理技術領域，具體涉及一種基于邊緣檢測的 集裝箱輪廓定位方法。
【背景技術】
[0002] 隨著集裝箱運輸的發展，使得集裝箱船舶越來越大，貨物集裝箱化的比例不斷提 高，集裝箱運量不斷上升。從航次經濟核算分析，通過縮短集裝箱船舶的停泊時間可以降低 停泊成本，提高集裝箱運輸船舶的航行效率并充分發揮船舶單位運輸成本的優勢，提高經 濟效益。傳統的手動控制抓取集裝箱已經極大的影響了生產效率和裝卸速度。一臺橋吊把 集裝箱從貨輪裝到拖車上，過程要求操作精度高，勞動強度大，是比較耗時的一個環節，其 中，在橋吊司機將抓具對準集裝箱鎖孔這一環節花費的時間占主要部分。提高裝卸自動化 的程度是提高集裝箱效率的有效途徑，其關鍵內容就是減少橋吊司機對集裝箱鎖孔的定位 時間并且提升定位的準確性。
[0003] 為了解決集裝箱鎖孔輪廓的問題，國內外學術界、工業界提出了很多方案，其中與 本發明較為接近的技術方案包括:漆靜(基于機器視覺集裝箱吊具智能定位系統研究[D]. 西南交通大學，2015)首先通過模板匹配算法把集裝箱頂部圖像從整體圖像中提取出來，然 后提取集裝箱圖像輪廓并平滑處理，最后用形態學處理過濾掉干擾的點和線，只保留吊孔 區域。這種方法存在的問題是，在光線不足的情況下集裝箱輪廓提取效果的好壞并不穩定， 同時通過形態學算法提取吊孔區域的效果并不總是特別好，這通常會導致最后計算吊孔區 域形心坐標的偏差。徐良（基于ARM的集裝箱定位系統的設計與實現[D].西南交通大學， 2012)首先將攝像頭采集到的集裝箱彩色圖像轉換為灰度圖像，再者使用Canny算子檢測并 且二值化以及Hough直線檢測保證圖像中的集裝箱邊緣與圖像平行，將不平行的集裝箱圖 像排除，然后通過Otsu算法把集裝箱灰度圖像轉換為二值圖，最后根據集裝箱鎖孔外接矩 形的長寬比和面積過濾出二值圖中鎖孔的位置。文中使用鎖孔外接矩形的頂點代替集裝箱 輪廓頂點存在一定誤差，因為在采集集裝箱圖像的時候，鎖孔存在一定程度的形變，而且鎖 孔的位置并不是出于集裝箱的最外側。發明專利（申請號:CN200710169094.5,名稱:基于機 器視覺的雙集裝箱定位系統）中首先利用SUSAN算子提取集裝箱圖像邊緣區域，其次抑制圖 像噪聲同時進行目標增強，然后采用Otsu算法對灰度圖作閉運算，最后采用Hough直線檢測 算法提取圖像中集裝箱的邊線并與圖庫中的集裝箱姿態進行匹配得到集裝箱的位置。該方 法存在的問題是Hough直線提取的效果并不穩定，沒有對檢測出來的線段進行處理對后一 步姿態匹配的效果會有一定的影響。
[0004] 綜上所述，既要實現集裝箱輪廓的準確定位，又要能很好地適應不同光線帶來的 影響，當前方法存在如下不足：（1)用吊孔中心坐標代替集裝箱外側角點存在一定誤差(2) 用鎖孔外接矩形的頂點代替集裝箱外側角點存在一定誤差（3)對磨損的鎖孔效果不好等 等。本發明針對這些問題提出了一種基于邊緣檢測的集裝箱輪廓定位方法。

【發明內容】

[0005] 為解決上述問題，本發明的目的在于提供一種基于邊緣檢測的集裝箱輪廓定位方 法。
[0006] 所述的一種基于邊緣檢測的集裝箱輪廓定位方法，其特征在于包括如下步驟：
[0007] 步驟1:首先用安裝在吊具上的攝像頭采集下方集裝箱某一側的圖像；
[0008] 步驟2:然后利用集裝箱鎖孔粗定位和跟蹤方法獲得步驟1得到圖像的上下鎖孔的 粗定位區域，該粗定位區域圖像的高度為height，寬度為width，單位為像素；
[0009] 步驟3:將上下鎖孔的粗定位圖像轉為灰度圖并進行預處理，得到圖像1^12;
[0010] 步驟4:利用自適應Canny邊緣檢測算法對步驟3的圖像1^12進行邊緣檢測，得至幌 定位的上下鎖孔邊緣圖像I:'，1' 2;
[0011 ]步驟5:根據步驟4得到的邊緣圖像h'，Γ 2，采用Hough直線檢測算法進行檢測，得 到線段集合LN={ln|n=l，2,. . .，N}，N表示線段的數量；
[0012] 步驟6:根據步驟5得到的線段集合LN，采用DBCAN聚類算法把接近水平和垂直的線 段保留，得到水平線段集合LH和垂直線段集合LV，其中：
[0013] LH={lh|khe (-0.2,0.2),h=l,2,. . ,Ρ} (7)
[0014] LV={lv|kve (-①，-11.43) U (11.43，+①），ν=1，2, ·· .Q} (8)
[0015] LHULVeLN (9)
[0016] 式中，lh、kh、P分別表示集合LH中的線段、線段的斜率以及線段的數量，lv、k v、Q分 別表示集合LV中的線段、線段的斜率以及線段的數量；
[0017] 步驟7:在線段集合LH中，計算兩兩不同線段之間中心點連線的斜率1?和兩條線段 自身平均斜率f，以及ku與之間差的絕對值八1^;若八1^小于閾值1'，則將相應的兩條 線段合并，否則保留，之后得到新的線段集合LH;同樣在線段集合LV中完成相同計算得到新 的線段集合LV:
C 10; (11)
[0020]式中，ki，kj表示線段集合LH中兩條線段的斜率且i辛j，其中i = l，2, . . .P; j = l， 2,. . . P ；
[0021] 步驟8:根據步驟7得到的新的線段集合LH、LV，首先將LH中最上側的水平線段lt作 為上鎖孔圖像的上邊緣，LH中最下側的水平線段lb作為下鎖孔圖像的下邊緣，其次根據坐 標從左向右遍歷LV中的線段lv，延長lv和l t，lb，獲得兩個交點Pl，p2,然后將這兩個交點連接 起來得到線段1 P并計算其斜率，將1P斜率和圖像Ii，12中心點連線1。的斜率相比，如果斜率差 值的絕對值在閾值T以內則保留 Pl，p2并停止遍歷LV，否則繼續遍歷，若遍歷結束還沒有找到 P1，P2則退出；
[0022] 步驟9:用安裝在吊具上的攝像頭采集下方集裝箱另一側的圖像，然后重復步驟2 ~8,獲得另一側的交點p3和P4;
[0023]步驟10:利用基于雙目視覺技術將?1，？2，？3，？4點的像素坐標轉換為以吊具為參照 物建立的坐標系下的世界坐標，然后將這四個世界坐標點按逆時針或順時針排序，四個點 構成一個四邊形即為集裝箱輪廓，由此實現集裝箱輪廓的定位。
[0024] 所述的一種基于邊緣檢測的集裝箱輪廓定位方法，其特征在于步驟3)中的預處理 具體步驟如下：
[0025] 步驟3.1:根據加權平均值公式，把粗定位圖像轉為灰度圖：
[0026] Gray = R*0.299+G*0.587+B*0.114 (1)
[0027] 式中，Gray表示灰度值，R，G，B表示彩色分量值；
[0028] 步驟3.2:采用高斯金字塔方法對步驟3.1得到的灰度圖進行下采樣操作再進行上 采樣操作，得到圖像Ills。
[0029]所述的一種基于邊緣檢測的集裝箱輪廓定位方法，其特征在于步驟4)中的自適應 Canny邊緣檢測算法具體步驟如下：
[0030] 步驟4.1:使用一階Sobel算子對圖像X方向和y方向進行計算，得到梯度矢量Sx，Sy;
[0031] 步驟4.2:計算出圖像的梯度值矩陣S，同時計算出圖像中最大的梯度值Μ:
(2) (3)
[0034] 式中，（Xl，yi)表示梯度值矩陣S中某個點i的坐標，（Xj，n)表示梯度值圖像S中某 個點j的坐標且i辛j，Sw,表示點i的梯度值，A,表示點j的梯度值，max表示求最大值；
[0035] 步驟4.3:首先計算出圖像的梯度值直方圖，然后設定直方圖的最大梯度值為Η并 且通過計算得到用于Canny邊緣檢測的高閾值H t和低閾值Lt，最后設定梯度值大小在前α% 的像素點為圖像的非邊緣點，剩下l-α%的像素點為邊緣點： \ Μ Μ <255 , , Λ
[0036] Η = \ (4)
[255 Μ > 255
[0037] Ht=(i+1)*M/H (5)
[0038] Lt = Ht*k (6)
[0039] 式中，i表示1-α%的像素點中最小梯度值，k表示高低閾值之間的比例系數，0〈α〈 100；
[0040] 步驟4.4:根據步驟4.3得到的高閾值Ht和低閾值Lt，采用Canny算法對圖像Ii，12進 行邊緣檢測，得到粗定位的上下鎖孔邊緣圖像II·'，1'2。
[0041] 本發明的優點是:本發明通過采用上述方法，能有效地解決鎖孔圖像在邊緣檢測 的時候存在干擾邊緣，以及Hough直線效果不佳等不足。
【附圖說明】
[0042] 圖1為本發明實施例步驟1采集到的集裝箱圖像；
[0043]圖2a為本發明實施例步驟2得到的上鎖孔粗定位圖像；
[0044]圖2b為本發明實施例步驟2得到的下鎖孔粗定位圖像；
[0045]圖3a為本發明實施例圖2a經過步驟4得到的邊緣圖像；
[0046]圖3b為本發明實施例圖2b經過步驟4得到的邊緣圖像；
[0047]圖4a為本發明實施例圖3a經過步驟5得到的直線圖像；
[0048]圖4b為本發明實施例圖3b經過步驟5得到的直線圖像；
[0049]圖5a為本發明實施例圖4a經過步驟6、7得到的圖像；
[0050]圖5b為本發明實施例圖4b經過步驟6、7得到的圖像；
[0051]圖6a為本發明實施例圖5a經過步驟8得到的鎖孔拐點圖像；
[0052]圖6b為本發明實施例圖5b經過步驟8得到的鎖孔拐點圖像。
[0053]圖中：卜交點ρι，2-交點p2。
【具體實施方式】
[0054] 下面結合實施例來詳細闡述本發明基于邊緣檢測的集裝箱輪廓定位方法的具體 實施方式。
[0055] 步驟1:首先用安裝在吊具上的攝像頭采集下方集裝箱某一側的圖像;在本實施例 中，如附圖1;
[0056] 步驟2:然后利用集裝箱鎖孔粗定位和跟蹤方法獲得上下鎖孔的粗定位區域，該粗 定位區域圖像的高度為height，寬度為width，單位為像素;在本實施例中，上鎖孔粗定位圖 像如附圖2a、下鎖孔粗定位圖像如附圖2b，height = 120、width = 120，所述的集裝箱鎖孔粗 定位和跟蹤方法在申請號為201610273182.9的文件中已公開，在此不再詳述；
[0057] 步驟3:將鎖孔的粗定位圖像轉為灰度圖并進行預處理，具體步驟如下：
[0058]步驟3.1:根據加權平均值公式，把粗定位圖像轉為灰度圖：
[0059] Gray = R*0.299+G*0.587+B*0.114 (1)式中，Gray表示灰度值，R，G，B表示彩 色分量值；
[0060] 步驟3.2:采用高斯金字塔方法對步驟3.1得到的灰度圖進行下采樣操作再進行上 采樣操作，得到圖像1^12;
[0061 ]步驟4:利用自適應Canny邊緣檢測算法對圖像h，12進行邊緣檢測，具體步驟如下： [0062]步驟4.1:使用一階Sobel算子對圖像X方向和y方向進行計算，得到梯度矢量Sx，Sy; [0063 ]步驟4.2:計算出圖像的梯度值矩陣S，同時計算出圖像中最大的梯度值Μ:
[0064] 5 = ^5； C2)
[0065] M =max(5\ .1.(3 )
[0066] 式中，（Xl，yi)表示梯度值矩陣S中某個點i的坐標，（Xj，n)表示梯度值圖像S中某 個點j的坐標且i辛j，_&>,,表示點i的梯度值，氣表示點j的梯度值，max表示求最大值；
[0067] 步驟4.3:首先計算出圖像的梯度值直方圖，然后設定直方圖的最大梯度值為Η并 且通過計算得到用于Canny邊緣檢測的高閾值H t和低閾值Lt，最后設定梯度值大小在前α% 的像素點為圖像的非邊緣點，剩下l-α%的像素點為邊緣點： {Μ Μ < 255
[0068] Η = \ (4)
[255 Μ >255
[0069] Ht=(i+1)*M/H (5)
[0070] Lt = Ht*k (6)
[0071] 式中，i表示1-ct%的像素點中最小梯度值，k表示高低閾值之間的比例系數，0〈cK 100;在本實施例中，〇 = 70汰=0.4;
[0072] 步驟4.4:根據步驟4.3得到的高閾值Ht和低閾值Lt，采用Canny算法對圖像Ii，12進 行邊緣檢測，得到粗定位的上下鎖孔邊緣圖像在本實施例中，如圖3a和圖3b;
[0073] 步驟5:根據步驟4得到的邊緣圖像ΙΛΙ'2,采用Hough直線檢測算法進行檢測，得 至1J線段集合LN= {In|n= 1,2,...，N}，N表示線段的數量;在本實施例中，如圖4a和圖4b;
[0074] 步驟6:根據步驟5得到的線段集合LN，采用DBCAN聚類算法把接近水平和垂直的線 段保留，得到水平線段集合LH和垂直線段集合LV，其中：
[0075] LH={lh|khe (-0.2,0.2),h=l,2,. . ,Ρ} (7)
[0076] LV={lv|kve (-①，-11.43) U (11.43，+①），ν=1，2, ·· .Q} (8)
[0077] LHULVeLN (9)
[0078] 式中，lh、kh、P分別表示集合LH中的線段、線段的斜率以及線段的數量，lv、k v、Q分 別表示集合LV中的線段、線段的斜率以及線段的數量;在本實施例中，T = 0.2;
[0079] 步驟7:在線段集合LH中，計算兩兩不同線段之間中心點連線的斜率1?和兩條線段 自身平均斜率€，以及1?與巧之間差的絕對值Akw若Δ。小于T，則將相應的兩條線段 合并，否則保留，之后得到新的線段集合LH，在線段集合LV中完成相同計算：
'10) (11)
[0082]式中，ki，kj表示線段集合LH中兩條線段的斜率且i辛j，其中i = l，2, . . .P; j = l， 2,. . .P;在本實施例中，如圖5a和圖5b，T = 0.2;
[0083] 步驟8:根據步驟7得到的線段集合LH、LV，首先將LH中最上側的水平線段lt作為上 鎖孔圖像的上邊緣，LH中最下側的水平線段lb作為下鎖孔圖像的下邊緣，其次根據坐標從 左向右遍歷LV中的線段lv，延長lv和l t，lb，獲得交點？1 1和交點p2 2,然后將這兩個交點連 接起來得到線段1P并計算斜率，將1P斜率和Ii，12圖像中心點連線1。的斜率相比，如果斜率差 值的絕對值在T以內則保留交點 ？1 1和交點p2 2并停止遍歷LV，否則繼續遍歷，若遍歷結束 還沒有找到交點Pi 1和交點P2 2則退出；在本實施例中，如圖6a和圖6b，T = 0.2;
[0084] 步驟9:用安裝在吊具上的攝像頭采集下方集裝箱另一側的圖像，然后重復步驟2 ~8,獲得另一側的交點p3和P4;
[0085]步驟10:利用基于雙目視覺技術將?1，？2，？3，？4點的像素坐標轉換為以吊具為參照 物建立的坐標系下的世界坐標，然后將這四個世界坐標點按逆時針或順時針排序，四個點 構成一個四邊形即為集裝箱輪廓，由此實現集裝箱輪廓的定位。
[0086]本說明書實施例所述的內容僅僅是對發明構思的實現形式的列舉，本發明的保護 范圍的不應當被視為僅限于實施例所陳述的具體形式，本發明的保護范圍也及于本領域技 術人員根據本發明構思所能夠想到的等同技術手段。
【主權項】
1. 一種基于邊緣檢測的集裝箱輪廓定位方法，其特征在于包括如下步驟： 步驟1:首先用安裝在吊具上的攝像頭采集下方集裝箱某一側的圖像； 步驟2:然后利用集裝箱鎖孔粗定位和跟蹤方法獲得步驟1得到圖像的上下鎖孔的粗定 位區域，該粗定位區域圖像的高度為height,寬度為wi化h，單位為像素； 步驟3:將上下鎖孔的粗定位圖像轉為灰度圖并進行預處理，得到圖像Ii，l2; 步驟4:利用自適應化nny邊緣檢測算法對步驟3的圖像Ii，l2進行邊緣檢測，得到粗定位 的上下鎖孔邊緣圖像1^1 步驟5:根據步驟4得到的邊緣圖像1/1,1/2,采用化U曲直線檢測算法進行檢測，得到線 段集合LN= {In I n= 1，2，…，N}，N表示線段的數量； 步驟6:根據步驟5得到的線段集合LN，采用DBCAN聚類算法把接近水平和垂直的線段保 留，得到水平線段集合LH和垂直線段集合LV，其中： LH={lh|khe(-0.2,0.2),h=l,2,.. .P} (7) LV={lv|kve(-cx.,-ii.43) U (11.43,+^) ,v=l ,2,.. .Q} (8) LHULVeLN (9) 式中，lh、kh、P分別表示集合LH中的線段、線段的斜率W及線段的數量，lv、kv、Q分別表示 集合LV中的線段、線段的斜率W及線段的數量； 步驟7:在線段集合LH中，計算兩兩不同線段之間中屯、點連線的斜率ku和兩條線段自身 平均斜率^，從及4。與^之間差的絕對值Aku;若Aku小于闊值T，則將相應的兩條線段 合并，否則保留，之后得到新的線段集合LH;同樣在線段集合LV中完成相同計算得到新的線 段集合LV:式中，ki，kj表示線段集合LH中兩條線段的斜率且i聲j，其中i = l，2，. ..P;j = l，2， .· · P; 步驟8:根據步驟7得到的新的線段集合LH、LV，首先將LH中最上側的水平線段It作為上 鎖孔圖像的上邊緣，LH中最下側的水平線段lb作為下鎖孔圖像的下邊緣，其次根據坐標從 左向右遍歷LV中的線段Iv，延長^和1*，山，獲得兩個交點pi，p2,然后將運兩個交點連接起來 得到線朗P并計算其斜率，將Ip斜率和圖像Ii，l2中屯、點連線1。的斜率相比，如果斜率差值的 絕對值在闊值TW內則保留pi，p2并停止遍歷LV，否則繼續遍歷，若遍歷結束還沒有找到P1, P2則退出； 步驟9:用安裝在吊具上的攝像頭采集下方集裝箱另一側的圖像，然后重復步驟2~8， 獲得另一側的義點P3和P4; 步驟10:利用基于雙目視覺技術將91，92,93,94點的像素坐標轉換為^吊具為參照物建 立的坐標系下的世界坐標，然后將運四個世界坐標點按逆時針或順時針排序，四個點構成 一個四邊形即為集裝箱輪廓，由此實現集裝箱輪廓的定位。2. 根據權利要求1所述的一種基于邊緣檢測的集裝箱輪廓定位方法，其特征在于步驟 3)中的預處理具體步驟如下： 步驟3.1:根據加權平均值公式，把粗定位圖像轉為灰度圖： Gray = R*0.299+G*0.587+B*0.114 (1)式中，Gray 表示灰度 值，R，G，B表示彩色分量值； 步驟3.2:采用高斯金字塔方法對步驟3.1得到的灰度圖進行下采樣操作再進行上采樣 操作，得到圖像Il，l2。3.根據權利要求2所述的一種基于邊緣檢測的集裝箱輪廓定位方法，其特征在于步驟 4)中的自適應化nny邊緣檢測算法具體步驟如下： 步驟4.1:使用一階Sobel算子對圖像X方向和y方向進行計算，得到梯度矢量Sx，Sy; 步驟4.2:計算出圖像的梯度值矩陣S，同時計算出圖像中最大的梯度值Μ:式中，（xi，yi)表示梯度值矩陣S中某個點i的坐標，（xj，yj)表示梯度值圖像S中某個點j 的坐標且i聲j，&；,W表示點i的梯度值，S，,.,表示點j的梯度值，max表示求最大值； 步驟4.3:首先計算出圖像的梯度值直方圖，然后設定直方圖的最大梯度值為Η并且通 過計算得到用于化nny邊緣檢測的高闊值Ht和低闊值以，最后設定梯度值大小在前α%的像 素點為圖像的非邊緣點，剩下1-0%的像素點為邊緣點：式中，i表示1 -α %的像素點中最小梯度值，k表示高低闊值之間的比例系數，0<α< 100; 步驟4.4:根據步驟4.3得到的高闊值出和低闊值^，采用化11117算法對圖像11，12進行邊 緣檢測，得到粗定位的上下鎖孔邊緣圖像?/ι，?/2。
【文檔編號】G06T7/00GK106097329SQ201610398985
【公開日】2016年11月9日
【申請日】2016年6月7日
【發明人】高飛, 李定謝爾, 童偉圓, 汪敏倩, 葛粟, 葛一粟, 盧書芳, 肖剛
【申請人】浙江工業大學