“讓尊重事實、推崇理性、強調精確、注重細節的理念,貫穿公共安全工作的全過程。善于從多源的、分散的、碎片化的大數據中找到規律。”——孟建柱
平安城市系統中車輛大數據的發展背景
隨著經濟快速發展,城市機動車保有量持續增加,不僅加大了交通管理的難度,而且涉車涉駕的案件比例也不斷上升,特別是盜搶機動車輛、機動車肇事逃逸以及涉車類刑事案件,嚴重影響了社會治安狀況,損害了人民群眾利益。而隨著平安城市建設的擴大深入和資源整合,公安通過自建卡口電警系統加強了車輛管控,掌握了大量的車輛卡口數據和圖片。
過車信息的爆發式增長得益于三個方面:
一、按照中共中央辦公廳和國務院辦公廳印發《關于加強社會治安防控體系建設的意見》關于各地加快公共安全視頻監控系統建設,全面提高社會治安防控體系的科技化水平要求,前端車輛抓拍點位的建設規劃質量、成像效果等直接影響車輛大數據研判系統應用成效的因素都會提出優化和改進措施。包括:根據城市地域特點和布局規劃,道路按照“科學布局、圍繞實戰、建用結合”的方法,通過治安卡口防控系統,基于“圈”、“塊”、“格”、“線”、“點”的邏輯布局,在全市構建技術防控“圈”、責任明晰的管控“塊”、基本封閉的單元“格”、掌握人車動態的軌跡“線”,以及防控有效的關鍵“點”,從而實現“區域全面監控、時空無縫銜接、目標全程追蹤”的防控效果。
二、前端攝像機的智能化水平提升,使得車牌識別技術在常規視頻監控系統中得到快速普及。以往需要在路口部署標準的卡口攝像機,現在可以在路段中間部署簡易卡口攝像機,在對普通監控場景錄像的同時自動捕獲和識別車輛和車牌信息;此外,對社區出入口、加油站、停車場出入口等車輛進出口部署微型卡口攝像機,利用地形封閉的特點,對出入車輛實現自動抓拍和識別。
三、深度學習技術的發展,推動了圖片結構化和特征提取的能力。早期建設的卡口系統,智能分析能力弱,圖片質量以及車牌識別準確率較低,經常要根據品牌型號顏色等車輛自身固有信息,從海量過車圖片或視頻中,人工查找目標車輛,由于一線警力有限、勞動強度大、車型種類多、光線角度不確定等因素,無法保證查找的準確性和時效性,特別是突發緊急事件,經常貽誤最佳處理時機。通過使用車輛深度學習系統,對前端卡口或簡易卡口獲取的過車圖片進行特征結構化分析識別,充分挖掘海量的卡口過車圖片中有價值信息,不但可以提高車牌車型的準確率,而且增加了車輛特征的識別信息,實現了車輛子品牌、車身顏色、不系安全帶、駕駛員接打電話、遮陽板狀態等識別檢測功能,對過車數據進行精細化校正,擺脫了傳統單純依靠車牌進行分析研判的單一手段,為卡口電警數據提供了更加豐富實用的車輛防控應用,可以實現對高危車輛的有效預警防控,優化警力部署進行針對性車輛排查,可以在大量涉車涉駕案件中有效鎖定嫌疑車輛,提高刑事偵查效能,使治安防控手段從事后被動偵查向事前主動預警轉變。
大數據提升城市治安及管理水平
大數據的價值在于通過對大數據進行高速捕獲和實時分析,及時獲取核心業務和戰略決策所需的關鍵信息,提升管理決策水平。
依據統計學,任何動態發展的事物,只要有足夠多的樣本數據,就一定能從樣本數據中找到動態發展的規律。數據越多,準確率越高,這就是數據的價值所在。對于商業應用,可以通過數據分析用戶行為規律從而提高銷售量、分析市場規律從而定點投放廣告降低成本;對于公安行業,可以通過數據分析區域性犯罪趨勢,提前預防從而降低犯罪率,可以分析交通行為規律,提前做交通疏導,提高交通通暢率。
2016年1月,政法委書記孟建柱同志提出大數據的八個推動,要求:1、推動理念創新,順應互聯網時代的要求,確立合作、互通、共贏理念。2、推動風險共擔,運用眾創、眾包、眾智理念,讓大眾的問題由大眾來解決。3、推動“數據文化”,堅持用數據說話,防止拍腦袋隨意決策。4、推動創新風險預警機制,探索“人力+科技”、“傳統+現代”的風險預警模式。5、推動科技運用創新,大數據表示的是過去,但表達的是未來,得數據者得未來。6、推動運用新技術,加強基層基礎建設,把“不起眼”的信息匯集起來。7、推動社會信用體系建設,堅持推行實名制和保護公民個人信息安全并重。8、推動國家信息安全維護,避免被他國“竊奪”數據信息控制權。
大數據通過對海量數據的整合和挖掘,揭示傳統技術方式難以展現的關聯關系,還可以預警風險,及時切斷風險鏈。例如:
針對堵車現象,實時采集車流數據,自動控制信號燈,讓堵車能有所緩解。
針對城鄉結合部“治安盲區”,采集人口流動信息,分析出潛在風險,警力針對性地科學調配。
針對保險理賠,通過社會信息搜集分析系統,上海等地正積極探索商業保險公司參與社會治理,將保險事務由“事后理賠”轉為“事先風險防范”。
針對聚集疏導,通過關鍵詞搜索技術、熱力圖技術、電子巡邏技術等,探索預測人群聚集苗頭和動向,人員過密時及時提示預警,適時分流人群。
針對犯罪熱點,集成公安專業數據,實時掌握犯罪軌跡、預判犯罪熱點,提高防范打擊犯罪的水平。
針對安全生產,工程建設特別容易出事,建立工程建設監管和信用平臺,以大數據為依托,“全程留痕”,讓監管“無死角”。
車輛大數據實際使用中面臨的問題
大數據的特征是大量性(規模超大、不斷攀升)、高速性(高速產生、處理高效)、多樣性(種類多樣、來源多樣)、低密性(有用數據提純)。海量數據給常規技術(獲取存儲管理、處理傳遞共享、關聯聚類分析)帶來了眾多挑戰——雖然數據很多,但是有用的數據只有34%,好用的數據僅有7%,被分析的數據更是少到只有1%。如何在海量的數據中提取出有價值的信息需要多學科多技術的研究。當前的特點是大數據、小模型、小定律交叉,即使是同一類問題,每個系統也都不一樣,所以模型和程序要針對數據設計。結構化數據通過數據庫或者數據倉庫解決,半結構化數據使用網頁和搜索引擎等技術解決,非結構化數據使用深度學習、網絡交互和群體智能解決。
干警在實戰使用中,最主要的操作應用是查詢車牌信息和其他過車記錄以便掌握線索。面對動輒幾十億、上百億甚至千億級別的海量過車數據的存儲和查詢壓力,如何進行可靠存儲和高效應用?傳統的普通關系型數據庫解決方案和技術手段存在檢索難、并發難、挖掘難、擴容難、應用難等一系列問題,速度慢、準確性差,需要投入大量的精力和資源進行技術升級改造。因此,及時準確獲取各類相關數據并構建大數據處理模型是建設平安城市大數據中心的前提,而這一難題目前正逐步通過先進的大數據技術進行解決。
車輛大數據的幾項關鍵技術
1、海量數據檢索
數據檢索作為大數據最基本的應用,分布式內存檢索引擎通過將海量數據在集群各個節點創建索引,并高速緩存在各節點內存,節點之間通過分布式特有的網絡通信技術,用最小的代價將計算和讀取數據完成匯總。當然,基于智慧城市車輛大數據中數據模型的特點,還要對分布式內存檢索引擎的機制做專門的優化,才能實現千億級數據多條件組合的秒級查詢。
針對百億級以上數據,大數據檢索的硬件服務器需要考慮SSD固態硬盤,核心數據存儲在固態硬盤,可以提高磁盤的讀取速度,在分布式并行計算的同時,進一步提升了數據的檢索效率,也為數據的穩定性提供了重要保障。
2、大數據研判分析
目前比較先進的方式是流式處理與批量處理相結合,以Hbase數據倉庫為數據源,針對車輛大數據研判分析,可以提供多樣化的應用功能,既滿足實時在線的數據處理需求,又支持海量數據的線下分析。例如,天地偉業Easy7公安實戰平臺的信息深度研判系統提供了多點碰撞、區域徘徊、伴隨車輛、晝伏夜出等將近20種技站法以及各種流量統計和態勢分析,都是在數據挖掘中將流式處理技術、數學統計算法、遺傳算法、神經網絡算法、貝葉斯判別、機器學習等算法結合起來,并針對現場用戶實際需求研發出來。
基于Hadoop技術框架
車輛大數據系統架構
資源接入層:實現各類前端系統的綜合接入,包括電警卡口系統、簡易卡口系統、公安自建視頻監控系統以及社會資源監控系統。
數據接入層:實現平臺間的數據對接和分類匯聚整理,卡口平臺和電警平臺的非結構化和半結構化過車數據用于深度識別分析,六合一平臺、車駕管庫、盜搶庫等結構化數據可接入車輛大數據。
數據處理層:通過圖像特征解析,提取圖片中關鍵信息,包括車牌、車標、車型、車身顏色、車輛子品牌、主副駕駛未系安全帶、駕駛員打手機、夜間遮陽板狀態等。Easy7車輛深度識別平臺就是在數據處理層為系統提供分析引擎。
實戰應用層:為公安用戶提供面向實戰的應用平臺,在大數據支撐下可以提供包括車輛信息綜合查詢、以圖搜圖、車輛技戰法、稽查布控、違法數據統計等功能,使視頻圖像數據的研判挖掘應用更有針對性,提高了對犯罪行為的精確打擊。
車輛大數據分析檢索系統的應用
以天地偉業推出的Easy7大數據分析檢索系統為例,該系統立足平安城市系統建設應用,結合智慧城市系統規劃需求,支持在海量大數據信息中快速檢索和研判分析。該系統可全面接入公安自建監控網、社會面監控資源以及主流廠家的交通卡口和電警設備,將采集到的數據以結構化語義存儲。系統采用基于大規模集群分布式并行運算存儲的Hadoop作為底層數據分析存儲框架,在工作調度、負載平衡、容錯容災、設備運維等方面進行了深度整合,保證了大數據訪問的可靠性、安全性和高性能,徹底消除了傳統存儲系統的瓶頸,可以滿足高帶寬和高并發的海量數據存取需求。系統將音視頻信息和用戶業務產生的結構化數據構建成圖像資源特征庫,使用Hbase進行分布式存儲,解決了傳統關系型數據庫在超大規模和高度并發方面的限制,為百億級別的數據量提供秒級訪問性能,并針對各行業對業務數據的實際需求應用,構建了多樣化的數學分析模型,提供了直觀的圖形化數據結果展現。
該系統提供的功能包括:
1、分類檢索:按照行人、三輪車、汽車分類檢索,點擊結果可播放相應圖片或者對應片段的視頻。
2、大數據全文檢索:支持精確車牌查詢、模糊車牌查詢、路口過車查詢、區域過車查詢、車輛類型查詢、車輛品牌查詢、無牌車查詢、車身顏色查詢,還支持多種條件組合查詢,可在秒級提供檢索結果。例如在一個月內的過車記錄中對車牌號碼進行模糊查詢,可在2秒返回結果。
3、車輛研判分析:為車輛信息深度研判系統提供應用計算的加速作用,在車輛多點碰撞、初次入城分析、跟車策略分析、出入案發現場車輛分析、伴隨車輛分析、車輛頻次分析、連續違法分析、落腳點分析、頻繁入城分析、頻繁夜出分析、棄置車輛分析、區域徘徊分析、疑似假**、晝伏夜出分析、嫌疑套**等技戰法策略中可以大幅提升運算效率。系統基本可在10秒內提供檢索結果。
車輛大數據分析檢索系統的應用
車輛大數據分析檢索系統是針對數據快速增長的云存儲、云計算、大數據等多種綜合技術集合,不僅能夠輕松處理海量的音視頻等結構化數據,還能結合車輛信息深度研判系統發掘視頻圖片及數據中的關聯情況,為業務處理和決策分析提供有力支持。