中國大數據產業起步晚,發展速度快。物聯網、移動互聯網的迅速發展,使數據產生速度加快、規模加大,迫切需要運用大數據手段進行分析處理,提煉其中的有效信息。2014年,中國大數據市場規模達到767億元,同比增長27.8%。預計到2020年,中國大數據產業規模將達到8228.81億元。2015-2017年復合增長率為51.5%。2014年,中國大數據應用市場規模為80.54億元,同比增長3.2%,2015年市場規模約增長37.3%,至110.56億元,預計到2020年,中國大數據應用市場規模將增長至5019.58億元。2015-2017年復合增速為87.8%。
2014-2020年中國大數據產業規模市場及預測
大數據應用于智能交通產業
當智能交通遇到大數據,如同二氧化錳在制取氧氣的實驗中作為催化劑一樣,一場劇烈的化學反應加劇了兩方的共同發展。
隨著城市的迅速發展,交通擁堵、交通污染日益嚴重,交通事故頻繁發生,這些都是各大城市亟待解決的問題。智能交通成為改善城市交通的關鍵所在。為此,及時、準確獲取交通數據并構建交通數據處理模型是建設智能交通的前提,而這一難題可以通過大數據技術得到解決。
1、智能交通需求與大數據契合
智能交通整體框架主要包括物理感知層、軟件應用平臺及分析預測及優化管理的應用。其中物理感知層主要是對交通狀況和交通數據的感知采集;軟件應用平臺是將各感知終端的信息進行整合、轉換處理,以支撐分析預警與優化管理的應用系統建設;分析預測及優化管理應用主要包括交通規劃、交通監控、智能誘導、智能停車等應用系統。
系統利用先進的視頻監控、智能識別和信息技術手段,增加可管理空間、時間和范圍,不斷提升管理廣度、深度和精細度。整個系統由信息綜合應用平臺、信號控制系統、視頻監控系統、智能卡口系統、電子警察系統、信息采集系統、信息發布系統等組成。以達到四方面的目標:提高通行能力、減少交通事故、打擊違章事件、出行信息服務。
智能交通整體應用架構圖
整個系統建設的核心是數據的采集、存儲與計算,而其中最重要的核心思想就是“數據是價值”。問題就是如何把數據轉換成價值。這就成為一個技術問題。
從統計學的角度,任何領域任何動態發展的事物,只要有足夠多的樣本數據,就一定能從樣本數據中找到動態發展的規律。數據越多,準確率越高。這個“規律”就是數據的價值所在。對于商業機構,可以分析用戶行為規律從而提高銷售量;分析目標市場規律,定點投放廣告從而降低成本等等;對于公安行業,可以分析區域性犯罪趨勢,提前預防從而降低犯罪率;還可以分析交通行為規律,提前做交通疏導,提高交通通暢率,這就能真正挖掘數據的潛在價值,提高其社會價值。
從20世紀初的網絡發展以來,進入一個高度聯網的階段。聯網的同時,數據高度集中,數據量急劇增加。據IDC報告現在互聯網的數據,每兩年就翻一番。這個增長率在智能交通行業同樣有效,隨著卡口、電警、攝像機數量的增加,高清化、智能化的發展,如果再算上物聯網的各種傳感器,未來幾年的數據量增加可能大大高于這個增長率。這就為智能交通行業實現大數據提供了數據基礎。
從各種各樣類型的數據中,快速獲得有價值信息的能力,就是大數據技術。由此我們再看IBM歸納的4個V(量Volume,多樣Variety,價值Value,速Velocity):
(1)Volume數據體量巨大。從TB級別,躍升到PB級別;
(2)Variety數據類型繁多。包括視頻、圖片、地理位置信息、傳感器數據等等。
(3)Value價值密度低,應用價值高。以視頻為例,連續不間斷監控過程中,可能有用的數據僅僅有一兩秒。
(4)Velocity處理速度快,1秒定律。
最后這一點也是和傳統的數據挖掘技術有著本質的不同。在交通領域,海量的數據主要包括4個類型的數據:傳感器數據(位置、溫度、壓力、圖像、速度、RFID等信息);系統數據(日志、設備記錄、MIBs等);服務數據(收費信息、上網服務及其他信息);應用數據(生成廠家、能源、交通、性能、兼容性等信息)。交通數據的類型繁多,而且體積巨大。量Volume和多樣Variety是因,數據類型的復雜和數據量的急劇增加,決定了原有簡單因果關系的應用模式對數據使用率極低,完全無法發揮數據的作用;速Velocity是過程,巨大的運算量決定了速度必須快;價值Value是最終的果。
2、大數據采集
在各城市建設智慧交通的過程中,將產生越來越多的視頻監控、卡口電警、路況信息、管控信息、營運信息、GPS定位信息、RFID識別信息等數據,每天產生的數據量可以達到PB級別,并且呈現指數級增長。
3、大數據增值應用
深入挖掘數據價值,在智能交通、公安實戰等行業上推出車輛軌跡、道路流量、案件聚類等大數據模型?;诖髷祿P停瞥鲋悄芴着?、智能跟車分析、軌跡碰撞、人臉比對、輿情分析等數據增值應用,逐步解決行業的深層次問題。
4、海量數據計算
通過云計算集群,實現對海量數據的分布式高速計算,支撐對海量數據的高效分析挖掘。云計算集群是一種M/S架構的分布式計算系統,Master作為調度管理服務器,負責計算任務分解與調度、計算資源統一管理。Slave則由大量的計算服務器組成,負責完成Master下發的計算任務。
5、海量數據檢索
基于行業數據查詢特點,對搜索引擎進行優化定制,支持百億記錄的秒級高速查詢。通過集群機制,實現搜索服務的高可靠性、高容錯性、高擴展性。
6、海量數據存儲
對于海量數據存儲,采用HBase分布式存儲系統。相比傳統關系型數據庫,有四個特點:數據格式靈活、高可用、橫向擴展能力強和訪問高效。
同時能夠做到無縫集成,快速從關系型數據庫導入已經存在的歷史數據。提供高可靠性、高容錯性、高性能的海量數據存儲解決方案,支持無縫容量擴展。
7、大數據分析與應用
高效的云計算能力,帶來千億數據的秒級返回的檢索能力,為大數據分析應用,提供了快速的保障。基于深度學習的智能分析算法,為大數據分析應用提供有力的工具。交通大數據的分析,為交通管理、決策、規劃、服務以及主動安全防范帶來更加有效的支持。
利用大數據技術,結合高清監控視頻、卡口數據、線圈微采集波數據等,再輔以智能研判,基本可以實現路口的自適應以及信號配時的優化。通過大數據分析,得出區域內多路口綜合通行能力,用于區域內多路口紅綠燈配時優化,達到提升單一路口或區域內的通行效率。如根據平日/節假日,早、晚高峰/其他時段,主要干道關鍵路口/次關鍵路口/普通路口,白天/夜間等不同情況,人工或系統自動設置不同的配時,達到大幅提高區域內交通通行能力。
大數據分析研判功能,還可以支持對卡口數據、視頻監控數據進行二次識別,提高車輛信息的準確性,進而利用大數據實現軌跡分析、落腳點分析、隱匿車輛分析等功能。對車輛大數據進行深入挖掘,實現事前全面監控、事中及時追蹤、事后準確回溯的不同場景需求。常州市建設的車輛大數據平臺,協助有關部門每天自動發現套牌車輛10余起,再根據車輛的軌跡分析和落腳點分析,快速找到套牌車輛進行處罰管理。
結合智能算法,二次識別等功能,可以更準確的識別車牌、車身顏色、車型、車標、年款等特征,并且對遮陽板檢測、安全帶檢測、接打電話檢測、司機人臉識別等進行分析。
利用智能交通的管理系統,可以獲取道路天氣、施工情況、事故情況、結合大數據分析,為出行司機和交管部門提供天氣、路面狀況、事故易發地點、停車場等信息,并根據車輛目的地、行駛習慣,路面情況推薦行駛路線。