本發明涉及一種公交車客流量統計系統，具體地涉及一種基于ToF相機的公交車客流量統計系統。

背景技術：

作為公共交通工具的所有者和管理者需要實時、清楚、準確的乘客交通統計數據作為車輛調度、運營管理、線路規劃的依據，因此必須要有相應的客流統計與運營分析系統的軟硬件設備提供支持。公交車客流量統計系統是用在公共交通工具中自動、智能準確地采集上車下車客流量、每個站點客流量信息進行時段統計管理及車輛運營分析的信息檢測、管理系統。

近幾年的公交車客流量統計系統主要均采用非接觸的方式，其對應的主流傳感器大體分為單目攝像頭，雙目攝像頭，紅外光幕傳感器等這三類。在已有的相關專利中，申請號為201210413969.2的發明專利中描述了一種基于單目的攝像頭智能化視頻客流分析方法及系統，其原理是基于機器視覺理論，首先對監控視頻的人體目標初步檢測并跟蹤目標，最后判斷客流軌跡得到客流數據；申請號為201310363318.1的發明專利描述了一種基于雙目攝像頭的視頻分析方法，其原理是獲取攝像頭采集的兩張原始二維圖，利用深度圖算法對兩張原始二維圖進行重建及背景過濾，獲得3D深度圖，然后利用圖像分割算法得到目標位置，并跟蹤目標，最后判斷客流軌跡得到客流數據；申請號為201320379173.X的專利中描述了一種基于紅外光幕傳感器的客流統計分析及系統，原理是利用紅外發射模塊將紅外光發射出去，同時紅外接收模塊來接收自身發射出去的紅外光，于此同時，如果人體目標經過該區域，其輻射出來的紅外線會導致人體熱釋電紅外探頭檢測到微弱的信號變化，經信號處理電路后傳送給客流微控制器，并判斷單人或者雙人通過，最終得到客流數據。

上述市面的三種公交車客流量統計系統存在以下不足：基于單目攝像頭的公交車客流量統計系統雖然得到大規模的應用，但是易受環境、光照等的影響，它的客流量統計精度很大程度上依賴于視頻圖像分析算法和圖像質量的優劣。基于雙目攝像頭的公交客流量統計系統利用立體匹配算法將二維圖像轉換成3D圖像，但是軟件算法實現復雜且3D圖像信息不精準。基于紅外光幕傳感器的公交客流統計系統不易受環境因素的影響，但高密度客流和客流方向仍是技術難題。為了解決以上存在的問題，本發明因此而來。

技術實現要素：

針對上述不足和技術難點，本發明提供一種基于ToF相機的公交車客流統計系統，旨在解決公交車客流數據統計的精確度受室外環境、高密度客流、圖像質量等因素影響的問題，提高系統的精確性、魯棒性和可靠性，并增加數據無線傳送、車輛實時定位、數據分析及后臺管理等功能。

為了解決現有技術中的這些問題，本發明提供的技術方案是：

一種基于ToF相機的公交車客流量統計系統，包括圖像采集裝置、圖像處理裝置、定位裝置、數據傳輸裝置和遠程數據管理裝置，所述圖像采集裝置設置在公交車輛前門和后門處，所述圖像采集模塊包括2D圖像采集模塊、近紅外測距模塊和3D圖像合成模塊，用于實時獲取上下公交車輛的乘客二維圖像和距離圖像，并將乘客二維圖像和距離圖像轉換成3D圖像，并將3D圖像傳輸給圖像處理裝置；所述定位裝置用于獲取公交車輛的實時位置信息，并將實時位置信息發送給數據傳輸裝置；所述圖像處理裝置利用圖像分割算法將3D圖像中存在的潛在人體目標進行初步篩選定位，然后利用機器學習算法將潛在的人體目標進行精確分類定位，使用多特征融合的目標跟蹤算法對定位的人體目標進行預測跟蹤，最終形成人體目標的運動軌跡并統計人體目標的上下車人數，將公交車輛實時客流量數據和公交車輛實時位置信息通過數據傳輸裝置傳輸給遠程數據管理裝置；所述遠程數據管理裝置用于接收公交車輛發送的公交車輛實時客流量數據，按不同需求生成統計信息。

優選的，所述遠程數據管理裝置將公交車上的實時位置信息、實時客流數據以及有效的客流視頻發送到網絡平臺，所述網絡平臺用于公共交通的運營理念分析、客流規劃以及調度。

優選的，所述圖像處理裝置為TFC模塊，數據傳輸裝置為4G模塊，TFC模塊的輸出端與數據傳輸裝置的輸入端連接。

優選的，所述定位裝置為GPS/北斗雙模定位芯片，其輸出端與數據傳輸裝置的輸入端連接。

優選的，所述圖像處理裝置包括機器學習融合圖像分割算法的人體目標檢測模塊、人體目標跟蹤模塊、人體運動軌跡判斷決策模塊和視頻存儲模塊，所述人體目標檢測模塊，利用圖像分割算法將3D圖像中存在的潛在人體目標進行初步篩選定位，然后利用機器學習算法將潛在的人體目標進行精確分類定位，所述人體目標跟蹤模塊，實現干擾條件下的多目標同步跟蹤，所述人體運動軌跡判斷決策模塊，記錄每個人體目標在檢測區域從進入到離開的所有運動軌跡，然后利用軌跡決策模型判斷是上車人數或者下車人數，得出最終的計數結果，所述視頻存儲模塊，用于當車門打開之后，同步開啟錄像功能，當車門關閉后，將有效視頻進行存儲。

本發明又公開了一種基于ToF相機的公交車客流量獲取方法，包括以下步驟：

(1)采集進出公交車輛的乘客二維圖像和距離圖像，并將乘客二維圖像和距離圖像轉換成3D圖像；

(2)利用圖像分割算法將3D圖像中存在的潛在人體目標進行初步篩選定位，然后利用機器學習算法將潛在的人體目標進行精確分類定位；

(3)使用多特征融合的目標跟蹤算法對定位的人體目標進行預測跟蹤，最終形成人體目標的運動軌跡并統計人體目標的上下車人數，獲取預定時間內進出公共車輛的公共交通客流量。

優選的，所述步驟(1)包括，對距離圖像信息進行預處理，使用圖像濾波算法將獲取的距離圖像信息進行噪聲過濾，然后將2D圖像信息和距離圖像信息通過投影轉化合成3D圖像。

優選的，所述目標跟蹤算法包括預測模塊、目標跟蹤模塊和目標更新模塊，預測模塊利用人體目標的運動參數和特定規則預測下一幀中運動目標可能出現的區域；目標跟蹤模塊，針對相鄰幀間運動目標的變化，利用特征值計算代價函數值，求出當前幀中運動目標在下一幀中的對應的后續目標，建立對應關系；目標更新模塊，用于更新已被跟蹤運動目標的目標鏈、目標位置信息和目標特征量。

優選的，記錄每個人體目標在檢測區域從進入到離開的所有運動軌跡，然后利用軌跡決策模型判斷是上車人數或者下車人數，得出最終的計數結果。

相對于現有技術中的方案，本發明的優點是：

1.本發明中的系統通過基于ToF相機的CMOS模塊來獲取公交車的乘客上下車的2D圖像流和4個近紅外光測距模塊來獲取距離圖像信息，通過投影轉換等核心算法將兩者合成3D圖像。與彩色圖像相比，3D圖像能直接反映物體表面的三維特征，且不受光照、陰影和色度等因素的影響。

2.本發明的核心算法解決在復雜背景、室外光線變化、人群簇擁等條件下的能夠高精度的乘客人數統計，主要涉及到利用圖像分割的算法對合成的3D圖像進行初步分割并定位潛在的目標，然后利用機器學習算法再次分類定位人體目標，接著使用多特征融合的目標跟蹤算法對定位的人體目標進行預測跟蹤，最終形成人體目標的運動軌跡并統計人體目標的上下車人數。

3.本發明的客流量統計系統的遠程管理裝置將公交車上的實時位置信息，實時的客流數據以及有效的客流視頻發送到網絡平臺上面，這樣為公共交通的運營分析理念、客流規劃、調度、管理技術提供切實可行的解決方案。

附圖說明

下面結合附圖及實施例對本發明作進一步描述：

圖1為本發明基于距離圖像傳感器的客流量統計系統的原理框圖；

圖2為本發明基于距離圖像傳感器的客流量統計系統的圖像采集裝置的原理框圖；

圖3為本發明基于ToF相機的公交車客流量統計系統的圖像處理裝置的原理框圖。

具體實施方式

以下結合具體實施例對上述方案做進一步說明。應理解，這些實施例是用于說明本發明而不限于限制本發明的范圍。實施例中采用的實施條件可以根據具體廠家的條件做進一步調整，未注明的實施條件通常為常規實驗中的條件。

實施例

如圖1所示，基于ToF相機的公交車客流量統計系統，包括圖像采集裝置、圖像處理裝置、定位裝置、數據傳輸裝置和遠程數據管理裝置。

圖像采集裝置為ToF相機，將ToF相機安裝在每輛公交車前后門處的正上方且接入車輛上面的開關門信號，同時將位置定位和4G數據通訊裝置安裝在主機箱子里面，并接入車內取ACC信號線，電源線正負極。然后調整相機角度，保證相機鏡頭垂直于地面。

ToF相機的作用是將整個場景轉換成深度圖像信息，其光源給目標連續發送光脈沖，然后利用傳感器接收從物體返回的光，然后信號電路的解調得到返回光的相位。利用下面提到的公式1和公式2，計算得到目標物的距離。

ToF相機中測距的基本公式是：

其中，Ψ為返回信號的相位，n是信號飛行途中一共經歷的波長個數。信號波長λ與調制頻率f有關，c為光速，公式為

值得注意的是圖像顏色定義為黑色代表無窮遠，白色代表無窮近，數值分別是從0到255之間的數據表示，于此同時黑色和白色的灰度值對應于物體到距離圖像傳感器的相對距離，不同的數值代表這個點到相機的相對距離。通過物理空間的世界真實坐標，換算得到每個點到相機的物理距離。

通過ToF相機的CMOS模塊來獲取公交車的乘客上下車的2D圖像流和4個近紅外光測距模塊來獲取距離圖像信息，通過投影轉換等核心算法將兩者合成3D圖像，并將3D圖像傳輸給圖像處理裝置；圖像處理裝置利用圖像分割算法將3D圖像中存在的潛在人體目標進行初步篩選定位，然后利用機器學習算法將潛在的人體目標進行精確分類定位，使用多特征融合的目標跟蹤算法對定位的人體目標進行預測跟蹤，最終形成人體目標的運動軌跡并統計人體目標的上下車人數，將公交車輛實時客流量數據和公交車輛實時位置信息通過數據傳輸裝置傳輸給遠程數據管理裝置。

如圖2所示，圖像采集裝置包括2D圖像采集模塊、近紅外測距模塊和3D圖像合成模塊。2D圖像采集模塊用于利用CMOS模塊采集乘客的二維圖像；近紅外測距模塊用于通過4個近紅外光的飛行時間來獲取被測物體的距離圖像信息；3D圖像合成模塊，首先對距離圖像信息進行預處理，使用圖像濾波的算法將獲取的距離圖像信息進行噪聲過濾，然后利用已知的2D圖像信息和距離圖像信息經過投影轉化等公式合成3D圖像。

如圖3所示，圖像處理裝置主要包括機器學習融合圖像分割算法的人體目標檢測模塊、人體目標跟蹤模塊、人體運動軌跡判斷決策模塊、視頻存儲模塊。其中，機器學習融合圖像分割算法的人體目標檢測模塊是用于解決在公交車室外光線變化、人群簇擁狀態、有干擾源(如帽子、背包、行李等)存在等復雜背景下人體目標的檢測定位問題，機器學習融合圖像分割算法的步驟如下：

(a)先利用設置閾值高度的參數(Z坐標的參數)，然后將合成3D圖像中的高于閾值高度的位置信息(X,Y)中對應的像素灰度信息進行保留，然后使用8方向的區域生長算法將相似性質的像素集合起來構成區域，并使用聚類算法將目標區域的位置信息進行初步篩選定位；

(b)先將初步篩選定位到的區域進行放大，然后將利用多特征融合訓練的人體目標檢測算法模型對這些區域進行深度掃描匹配，最終定位到精確的人體目標位置信息。

人體目標跟蹤模塊，實現目標運動規律復雜、多個目標距離隨機變化等干擾條件下的多目標同步跟蹤算法，并解決多目標隨機運動下重復計數的問題。跟蹤算法結構分為三大模塊：預測模塊、目標跟蹤模塊和目標更新模塊。其中，預測模塊主要利用目標的運動參數和針對本系統的特定規則預測、下一幀中運動目標可能出現的區域；目標跟蹤模塊則針對相鄰幀間運動目標的變化，利用特征值計算代價函數值，求出當前幀中運動目標在下一幀中的對應過后續目標，建立對應關系；目標更新模塊主要用于更新已被跟蹤運動目標的目標鏈、目標位置信息和目標特征量；最后人體運動軌跡判斷決策模塊將記錄每個目標在檢測區域從進入到離開的所有運動軌跡，然后軌跡決策模型判斷是上車人數或者下車人數，從而得出最終的計數結果；視頻存儲模塊是當車門打開之后，同步開啟錄像功能，當開車關閉后，將這段有效視頻存儲到本地的SD卡。

遠程數據管理裝置可以是WEB網絡服務器和數據管理服務器。遠程數據管理裝置負責接收公交車輛發送的公交車輛實時的客流量數據信息、有效的視頻信息和公交車輛實時位置信息并進行分析，按不同要求生成統計信息和報表，為公交車系統的規劃、車輛調度和運營管理提供依據。將公交車上的實時位置信息、實時的客流數據以及有效的客流視頻發送到網絡平臺上面，網絡平臺可以為公共交通的運營分析理念、客流規劃、調度、管理技術提供切實可行的解決方案。

定位裝置選自GPS/北斗雙模定位芯片，其輸出端與圖像處理裝置的輸入端連接。

數據傳輸裝置為4G模塊，選自電信七模全網通芯片，電信七模全網通芯片通過網絡公交車輛實時的客流量數據，有效的視頻信息和公交車輛實時位置信息傳送至遠程數據管理平臺。

同時，給出本發明基于ToF相機的客流量統計系統的工作流程

當啟動公交車的鑰匙信號后，客流量統計系統開始工作，ToF相機經過圖像采集以及處理，計算得到公交車的實時客流數據和存儲有效的客流視頻；

可以通過位置定位裝置的GPS/北斗雙模實時得到車輛的動態位置信息；

主機將圖像采集和處理集成裝置發過來的公交車實時客流數據和存儲有效的客流和車輛的動態位置信息一起打包成數據包；

4G數據傳輸模塊將公交車輛實時的客流量數據信息、有效的客流視頻和實時的位置信息通過電信4G模塊傳送至遠程管理中心進行存儲和分析，為車輛調度和管理提供依據。

上述實例只為說明本發明的技術構思及特點，其目的在于讓熟悉此項技術的人是能夠了解本發明的內容并據以實施，并不能以此限制本發明的保護范圍。凡根據本發明精神實質所做的等效變換或修飾，都應涵蓋在本發明的保護范圍之內。