《企業網D1Net》3月16日訊
道路交通作為“衣食住行”中的“行”和我們的日常生活息息相關。我們對道路交通的需求無非是安全和快捷。但是在機動車越來越多的今天，交通事故屢見不鮮，交通堵塞更是家常便飯，我們的需求顯得有些奢侈。要改變道路交通的現狀，我們不僅需要政府的宏觀舉措——增加道路建設、加強交通法規教育、發展公共交通等，更需要交管部門落到細節的管理。我國的機動車保有量極大(一個省的機動車數量在千萬級別)，道路交通還具有不受統一調度、行車軌跡復雜等特點，管理難度很高。為了提高管理能力，各地的交管部門紛紛部署了統一的監控系統，通過電子眼、傳感器、測速器等設備對交通情況進行全天候的監控。
道路交通監控可以分為兩類——觀察型監控和分析型監控。觀察型監控只需要監控設備能夠觀察到特殊狀況，比如闖紅燈、違停、越線、超速等違章行為，并將該狀況發生的時間、地點和電子眼拍下的照片一同傳送給監控中心，由交警進行狀況的記錄和處罰的通知。我國交管部門的觀察型監控的使用已經相當成熟，對違章行為的捕捉率非常高，有效地降低了違章率。分析型監控就要復雜許多，常見的任務有套牌車分析、伴隨車分析、碰撞車分析、黑名單車輛預警、旅行時間計算、道路流量統計等等。這些任務需要交通卡口不間斷地記錄所有經過車輛的過車數據，并且對這些數據進行查找、關聯、比對等處理。因為記錄條數多并且包含圖像信息，過車數據的體量非常龐大，對監控系統的存儲、查詢和計算能力都提出了很高的要求。事實上，由于數據量過大，大多數交管部門采用離線分析進行分析型監控，也就是將一個周期內(比如一天內)全部的過車數據都存儲起來后再對整個數據集進行計算。這種處理方式顯然延時過高，監控系統在特殊狀況發生很久以后才能將結果報告給交警。分析型監控的任務常常具有時效性，比如黑名單車輛通過某個卡口時，需要系統立刻捕捉到這一行為并通知卡口附近的交警前往攔截;再比如道路流量統計的目的是通知交警在某地交通流量過大時前去疏導。離線分析的高延時使得交警無法對這些狀況進行及時響應。
分析型監控的技術難點在于監控系統需要在不斷產生的、海量的、格式多樣的過車數據中快速發現問題，最好可以在問題發生時就發出預警。交管部門傳統使用的數據庫能力有限，無法滿足對實時性的需求。所幸，這個難題恰好是近年來熱門的大數據技術的強項。大數據技術以其分布式的計算方式尤其擅長對海量數據的快速處理。大數據發展到現在已經有相對成熟的技術來處理以下三種問題：復雜的批量數據處理、基于歷史數據的交互式查詢和基于實時數據的流處理。其中的流處理，顧名思義，是在數據產生并流入系統時就進行處理并馬上得出結果，非常適合分析型監控中過車數據不斷產生的場景和對實時性的需求。日前，山東交警就在公安部無錫所(交通管理科學研究所)的幫助下部署了基于大數據平臺的緝查布控系統，利用流處理技術做到了實時的分析型監控。
山東省的機動車保有量在全國一直數一數二，2014年7月在全國率先實現了緝查布控系統的省級聯網。省級的緝查布控系統要處理的不僅是省內各地市的監控信息，還有各地市之間交通的數據，因而數據量非常龐大，處理邏輯也遠高于普通市級系統。山東交警在全省部署的上千個卡口每時每刻都捕獲著大量包含圖像和視頻的過車數據，在高峰期可達每秒近萬條，每月的數據量可達TB級別。山東交警緝查布控系統原先使用的Oracle數據庫在處理如此大量的數據時捉襟見肘。部署了大數據平臺后，數據量過大帶來的存儲、查詢和計算方面的一系列問題都得到了解決。尤其是新系統中的流處理引擎成功地做到了對套牌車分析、伴隨車分析、黑名單車預警、區間測速、旅行時間計算、道路流量統計等分析型監控的實時分析和實時預警。圖1描述了山東交警新緝查布控系統的軟件邏輯架構：
圖1：軟件邏輯架構
套牌車指擁有通過仿制、拼接等技術偽造與別的車輛相同的號牌的車輛。套牌車常被用作違法犯罪的工具，使案件難以偵察，給社會安全帶來了很大的威脅。山東交警緝查布控系統對套牌車的分析根據“同一車輛在較短時間內不可能同時經過兩個相距較遠的卡口”的原理，將單個時間窗口內在全省產生的過車數據進行比對，在發現套牌車時立刻產生預警信息。信息一經交警確認，交管部門可以立刻通知卡口附近的交警前往攔截。大大提高了追蹤套牌車的效率，可以幫助公安部門快速偵破套牌車所帶來的違法犯罪行為。
伴隨車指長時間結伴而行的車輛。當過車數據顯示多輛車在多個卡口短時間內一起通過，緝查布控系統即會判定這些車輛為伴隨車。犯罪團伙出動時，往往會駕駛多輛車協同作案。當交管部門確認某些路段會有犯罪團伙經過，對這些路段的伴隨車分析可以迅速篩選出犯罪團伙所用車輛并通知公安干警前往攔截。
旅行時間計算和道路流量統計則可以幫助處理和預防交通堵塞。對車輛通過卡口的時間點進行計算，可以得到車輛在卡口之間所花的旅行時間。當系統發現大量車輛的旅行時間突然變長，則說明附近路段發生堵塞，緝查布控系統會立刻發出預警，通知交警前往疏導。對各卡口過車數量的計數則可以計算出全省各條道路的實時流量，當道路流量大時，說明路上車輛很多，極易發生碰擦進而導致大面積交通癱瘓。所以緝查布控系統會在流量過大時通知交警前往待命，以便在狀況發生后第一時間進行處理。在道路單向流量過大時，緝查布控系統還可以使用信號燈將流量小方向的部分車道臨時調配給流量大的方向，實現流量均衡。
區間測速則可以根據一輛車通過兩個或以上卡口的時間來計算出車輛在卡口間的速度，捕捉到超速行為。通過將實時生成的過車數據與車管所的黑名單比對，緝查布控系統可以發現包括未年檢車輛、車主駕照吊銷車輛、報廢車輛等等并通知交警前往攔截。
使用了大數據流處理技術的緝查布控系統幫助山東交警建立了高度靈敏、快速響應的機制，大大提高了交管部門的管理能力。監控型分析之外，大數據平臺還解決了山東交警海量數據的存儲和查詢問題。新的緝查布控系統中，機動車違法圖像信息的保存周期從3個月延長到了24個月。交警可以根據車輛的顏色、車型、號牌等信息實時查詢其歷史行為、行車路線和車輛營運公司、駕駛人等關聯信息，只花秒級時間便可從24億條過車數據中的機動車號牌查詢出精確結果和行車軌跡。值得一提的是新系統可以快速進行碰撞車分析。碰撞車并不是指真正在道路上碰撞的車輛，而是公安部門的一個術語，專指在兩組或以上的過車數據中重復出現的車輛。我們可以用一個例子來解釋碰撞車分析的意義。如圖2所示：A地在某日凌晨2點、B地在同一日凌晨4點各發生一起盜竊案件，作案手法相同，公安機關認定為同一團伙所為。對A地附近卡口在該日凌晨2點左右和B地附近卡口在凌晨4點左右產生的過車記錄進行比對，重復出現的車輛就有犯罪嫌疑，公安部門可以迅速縮小偵察范圍。
圖2：碰撞車分析(圖片為虛構)
通過山東交警對大數據技術的利用，我們看到選擇高性能的大數據處理平臺可以大大提高交管部門的管理能力和效率。公安部無錫所幫助山東交警部署的新緝查系統底層采用了星環科技(更多詳情請見星環科技官網www.transwarp.io)的分布式大數據處理平臺Transwarp Data Hub(TDH)。TDH基于Hadoop，對海量數據的存儲、查詢和分析都很擅長，尤其是平臺下的流處理引擎Streaming利用目前大數據處理領域中最快的計算框架Spark，擁有高吞吐、低延時的優點，使山東交警的緝查布控系統發揮了強大的作用。在交通監控系統中使用大數據技術不僅可以在突發事件中提高交警的響應速度，還可以為政府對道路建設和相關法規進行改進提供依據。例如，道路流量分析可以為公路局指出最需要新增和拓寬道路的地點，交通事故統計可以讓交管部門在事故高發路段安裝更清晰的警示標志或者重新設置限速等等。
交通擁堵和安全問題越發嚴重的今天，全國各省都在計劃部署省級的緝查布控系統, 全國聯網也是大勢所趨，屆時，系統所面臨的數據處理任務將更加艱巨。基于Hadoop的大數據平臺擴展性極強，存儲和計算能力都可以無限提升，今后會發揮更大的威力。充分運用大數據技術，使道路建設、法規制定和事件處理配合無間，讓交通管理變得更加“智慧”，道路交通時時處處安全、快捷的實現也就指日可待。
作者簡介：
復旦計算機學士、美國杜克計算機碩士。美國微軟總部服務13年，是數據分析、數據挖掘、產品研發及管理、互聯網廣告和互聯網營銷方面的專家。《New Internet：大數據挖掘》《數據掘金:電商運營數據》兩書作者。
更多詳情請見星環科技官網 www.transwarp.io
京公網安備 11010502049343號