大數據落地:眾之所盼,卻含苞晚放
翻閱a&s安全自動化的歷史技術文章,不乏大數據、云計算的技術文章,談得多了,聽得多了,似乎大數據距我們咫尺之遙,呼之欲出;但實際上,大數據始終虛無縹緲,吵吵嚷嚷轉頭空,回頭望月,大數據仿佛仍與嫦娥戲耍。
而從各設備商歷史論點看,2014年年底,a&s拜訪大華股份大數據、云存儲事業部負責人時,所談論的觀點,是大數據最為貼切可落地的理論。待a&s正式面對面接觸到大數據產品時——來自宇視科技的DB9500 & DR9500大數據計算集群,此時時間軸已經轉到了2015年下半年,這是一套最早于2013年底在丹東項目上投入運行的大數據系統,也曾被行業資深人士評為最早落地的大數據產品。此后,各家的大數據系統開始紛紛涌現。
多年期盼,大數據終于在蹣跚中來了。一經落地,其發展速度之迅猛,超乎行業想象,一時間無論是硬件制造商還是軟件開發商,幾乎都跟大數據或多或少扯上了關系。
而大數據的落地及遍地開花,似乎昭示著安防產業即將再掀風云。
大數據拔高了安防入門門檻
大數據技術早在IT領域得到了應用,如當下的百度搜索引擎等,用的就是大數據技術;當安防提升到IT技術層面,產業將會面臨兩極分化的加劇。
從當前產業看,首先推出大數據技術的,清一色為主流設備商或頗具實力的平臺廠家,比如IT背景的宇視科技,傳統安防廠家海康威視、大華股份、蘇州科達,軟件平臺商東方網力、中盛益華等,無一不是一方梟雄;中小企業與之相比,差距不斷拉大。其次是國內安防企業的國際領先性,從目前看,國際安防品牌企業也在跟進大數據技術的開發,但進度緩慢,此前一直牢據世界安防50強第一名的霍尼韋爾,至今未見其在中國大陸的進一步動作;而泰科、UTC、安訊士、三星安防等眾企業關于大數據的介紹也是鮮少得到披露;即便有,與大陸的大數據分析也存在很大的不同,比如泰科、UTC,其已在門禁領域推出了大數據管理系統,但也是去年才面世,與視頻監控將非結構化數據處理為結構化數據的深度分析是兩種不同類型的應用模式。
最近轟動圈內的大新聞則為戴爾進入安防,戴爾的IT技術、存儲技術、硬件制造能力強勁,但沒有安防積累,無論其要將自身優勢移植到安防還是從零開始,安防產業的升級都能讓戴爾短時間內難以找到適合的切入點,而產業的不斷變化,隨著時間的推移,其進入安防的困阻會變得更大。對中小企業來說,沒有相應的項目(需求)支撐、技術積累,則將難以脫掉產業轉型期間的陪跑角色。
采集端重要性日漸凸顯
此前在談大數據時,都會強調前端采集設備的重要性,如數字化、網絡化、高清化、智能化。但實際上,前端采集設備的提升,核心元組件的成熟成了重要依賴,如傳感器和處理芯片,共同推動了高清化、智能化;倘若成像稍有處理不當,就會出現數據分析不準確,最終導致大數據應用不準確的情況,如寬動態,處理技術達不到需求水平時,需要分析的部位無法識別,數據的結構化也就無法完成了;再比如當前大數據的主流應用領域——車輛識別,若攝像機對眩光無法很好抑制,或是圖像色彩不準確,將在車輛色彩特征分析中帶來極大 麻煩;即便算法識別準確,但是算法的計算設置不當,也會誤導大數據檢索,比如掛著紅色橫幅的藍色車,部分系統會將車色識別為“紅色”。
大數據應用的準確性,前端算法是基本保證,數據結構化處理的準確性是基礎,兩者只要稍有差錯,識別的結果將會是另一番景象。
以目前的前端成像技術來說,雖然水平已經很高,但仍存在很多不足,清晰度算是比較高度統一的,如4K,整個行業幾乎都做到了2200TVL,但寬動態、色彩還原、星光級夜視能力還是存在較大差距,即便同一個設備商、同樣算法的兩款不同樣式產品的效果也存在天壤之別。
結構化偏科:直指大交通
不可否認,交通是安防領域中人工智能發展最為成熟的科目,可識別的內容頁很多,包括拍攝方向、是否機動車、車牌號、車牌色、車標、車色、車身重要特征以及壓黃線、闖紅燈等違規檢測,還可通過地感線圈或視頻、微波感知車速,僅車標一種,目前已知可識別的種類超過了3600種,且可結合車管所數據庫,實時更新識別模型。數據分析成功率高,在as的測評中,大部分可做到98%以上的識別率,部分達到了100%(樣本測試),確保了數據結構化的準確性。
但大數據的應用類型很多,絕非車輛識別一種。不過從目前公開的大數據開發 情況,除少數門禁平臺外,幾乎清一色為針對車輛的檢索應用。或許人員卡口產品的出現會稍微豐富大數據類型,但人員卡口是自科達的感知型攝像機推出后才獲得快速發展,目前應用少、識別的準確性也還在不斷提升當中,尚難以形成規模化應用。而對物品的識別,一個是作為半結構化數據采用,另一個則是將物品識別作為人員卡口、車輛卡口的附加檢測特征來使用,應用擴展性有限。
應用:二次結構化才是重點
數據結構化的大數據應用的基礎,其原理無外乎將視頻等非結構化數據經過處理分析后,提取視頻特征,并以文本形式保存,同時對文本與原非結構化數據進行關聯,以便在檢索時能快速對應到原始數據。
而數據的結構化主要有兩種方式,一是成像時即進行結構化處理;二是通過后臺服務器進行數據二次分析從而實現結構化處理。從目前看,大部分攝像機都是非結構化或半結構化產品,可提供的結構化數據有限;不過智能交通卡口攝像機和新一代人員卡口攝像機可以實現前端數據結構化,可直接將結構化數據提供給分析后臺使用;但實際項目中,品牌龐雜易造成兼容性、原有結構化前端可執行的結構化內容有限、非結構化設備量大等問題,后端結構化處理漸漸成了重點,即二次結構化。
硬件選配:各顯神通
就目前來看,各家二次結構化處理平臺所采用的服務器均不一樣,從2U到4U、單處理節點到多處理節點均有,服務器供應商也是品牌多樣,如凌華、浪潮、IBM等均有;共同點是均為基于英特爾高性能芯片開發的X86架構服務器、Linux操作系統。
從目前了解的情況看,海康威視采用的硬件應為4U多節點高性能服務器,最高支持160路1080P視頻流實時處理;大華股份為2U 4節點處理單元,支持每天600萬張圖片分析性能;東方網力應為2U處理機型;科達亦有可能采用的是2U處理機型。而宇視經過升級,最新的產品為2U服務器機型,實現了數據服務器與搜索引擎的二合一。
應用:千億秒級檢索,需求策動
數據結構化之后,以文本形式進行存儲和關聯,第一代大數據檢索平臺的檢索速度約為百億數據秒級檢索;而優化后的新一代平臺,理論上均可實現千億級數據秒級檢索。從實測效果看,目前已知的各廠家大數據平臺均未達到千億級容量,實測平臺數據庫從幾萬到幾十萬不等,不過無論是實戰平臺還是模擬平臺,秒級檢索均不存在問題。
大數據基本可實現三大類型檢索:人、車、物,且以車輛檢索成為最主要應用類型,并由大數據衍生出數十種應用,主要有如下三大類型:
·秒級檢索,如卡口機動車、區間機動車、外地機動車、異常牌照、違法、布控告警、紅名單車輛、非機動車等查詢功能;
·車輛研判,如套**、跟車關聯性分析、車輛軌跡碰撞、首次進城、高危時段、晝伏夜出、頻繁夜出、多次進城不出城、車輛異常行為、單日過城、隱匿車輛、落腳點分析、綜合研判等;
·智能布控。支持導入車管所車輛數據庫,主要提供有車輛布控、專項整治、特種車輛管理等功能,可實現大貨車、黃標車、車輛限行布控。
需要說明的是,人員卡口同樣可實現檢索、研判、布控功能,目前發展的重點是提升人員、人臉特征的識別與分析能力,如臉型、身高、胖瘦、衣著、民族等特征的識別。
標準未形成,但行業高度默契從口號到落地,大數據應用歷經了模擬、數字兩代安防人的共同努力,在2015年之前,鮮見公開的大數據產品,而自a&s首度曝光后,主流設備商均推出了各自的大數據平臺產品。
但作為新興事物,至今國家沒有相關的行業標準,也無法統一規范大數據如何做。不過,雖然各家的硬件各不一樣,但軟件層面卻高度統一,如上部分所介紹的三大應用類型:秒級檢索、車輛研判、智能布控,從主要應用類型到細化功能,幾乎一模一樣,晝伏夜出、告警檢索、黃標車布控等,高度統一。可以說,雖然標準未出,但應用層的設計,倒是實現了高度統一,即便有差異,也相差不大。
那么這些應用從何而來?從實地測評走訪可以推斷,基本都是來自于客戶的需求開發;但因各家都是基于大數據來實現應用,應用的開發不難,因此不排除部分沒有實際項目需求的平臺有借鑒之嫌。
需求策動和相互借鑒之下,導致了大數據應用不約而大一統的“標準化”局面。在筆者看來,這未必是好事,因為雖然中國大陸各地在相關交通法規要求下實現了標準化的大一統,但實際上各地還是有不少獨特之處,如摩托車、電動車檢測需求、旅游區的特色運營車輛等,但至今未見有體現,這也造成了國內大數據平臺缺乏鮮明的個性化特征。
應用效果趨于理想,但投入產出比低
單從文本信息的檢索和大數據分析結果看,秒級檢索結果精確度還是非常高的,尤其是基于車牌號的檢索及應用,達到了非常高的應用價值,這在實際項目中已經得到了驗證。
不過由于前端抓拍設備的成像問題、算法處理問題,還是會有一些識別錯漏的請,主要集中在顏色的識別上,比如黑色識別,當稍微有反光,算法極易將黑色的車判斷為藍色的車。大數據分析現存的問題,將會推動設備商對自身成像設備的改進,另外也會對算法進行優化,除了分析精準度外,特征識別還較難實現定制化,目前的車輛特征識別(以圖識圖),基本是基于車輛特征庫實現特定特征檢測,若算法檢測不出,也無法通過手動選擇。
雖然大數據已經實現了較好的應用效果,在一些實戰項目中,也排查了很多套牌車,如宇視的丹東項目。但仔細分析發現,大數據平臺的產出不高,如電警功能,已于前端的智能交通攝像機實現,二次識別產生二次效益不高,尤其是難以產生明顯的二次經濟效益,相對整套系統來說,投入產出比不高。結合建設需求,可以斷定,目前的車輛大數據平臺的效益,將主要應用于三個方面:
a、 智能管理:即取代人工管理,提升平安城市的智能化水平;
b、 案件檢索:利用大數據分析能力,為案件的分析、排查提供線索;
c、 利民工程:開放部分功能作為民生工程,服務當地百姓,如失竊車輛找回等。
而在事件預判方面,以目前的大數據技術能力,還稍有欠缺,其深度學習還嚴重依賴人工升級;不過這也側面說明大數據應用開發仍有很大的發展前景,仍需產業同行繼續努力。