大數據背景下,視頻監控遭遇幾大困境,飛速增長的視頻監控數據,使得傳統視頻監控體系架構、數據的管理方式、數據分析應用等面臨新的困境。
云計算、大數據技術的發展為安防行業發展帶來前所未有的突破,但仍面臨許多困境與挑戰。
一、數據量的急劇擴大和IT投資之間的矛盾
按照IT產業的法則:在滿足客戶需求的前提之下,往往技術成本越低,其生命力往往越強。由于數據量的急速擴大,以及隨之而來的大規模計算的需求越來越多,一味采用高配硬件,使得硬件投資成為客戶不可承受之重,客戶越來越希望在滿足需求的前提下,用中低端的硬件來替換高配硬件。
二、海量數據和有效數據之間的矛盾
攝像頭24小時不間斷工作,如實記錄鏡頭覆蓋范圍發生的一切,僅僅記錄信息是不夠的,因為對于客戶來講可能大部分信息是無效,有效信息可能只分布在一個較短的時間段內,按照數學統計的說法,信息是呈現冪律分布的,也稱之為信息的密度,往往越高密度的信息對客戶價值越大。
相較于其他行業,安防非結構化的數據存儲壓力不斷增大,一方面源于視頻、圖片等非結構化數據本身容量,另一方面源于安防數據規模的不斷擴大,安防大數據存儲對系統設備提出了更高挑戰,如何在滿足需求的前提下,刪除重復數據、降低存儲硬件成本投資成為海量數據存儲的一個難題
三、資源利用和效率之間的矛盾,串行計算和并行計算的矛盾
視頻監控業務網絡化、大聯網后,網絡內的設備越來越多,利用閑置的計算資源,實現資源的最大化利用,關乎運算的效率。在視頻監控領域,往往視頻分析的效率決定價值,更低的延遲、更準確的分析往往是平安城市這類客戶的普遍需求。隨著數據量的增加,哪怕對TB級別的數據進行對視頻內容的數據分析和檢索,采用串行計算的模式都可能需要花費數小時的計算,已遠遠不能勝任時效性的需求。視頻的分析和檢索,不能依賴于傳統的手段,巨量數據的效率優化,并行計算是視頻智能分析的唯一出路。
四、數據共享
大數據需要通過快速的采集、發現和分析,從大量化、多類別的數據中提取價值。安防大數據時代最顯著的特征就是海量和非結構化數據共享,用以提高數據處理能力。而海量數據存儲在不同系統、不同區域、不同節點、不同設備中,這給數據的傳輸和共享帶來極大的挑戰。
五、數據安全
平安城市、智慧城市的建設促使安防存儲技術的新應用,智慧城市一大要求就是將視頻存儲數據相互之間進行聯動、共享。與此同時,視頻監控數據具有私密性高、保密性強的特點,不僅是事后追查的依據、而且更是后續數據分析挖掘的基礎。因此數據安全一方面是指不受到外界數據的入侵和非法獲取、另一方面是指龐大系統的魯棒性、體系容錯機制,確保硬件軟件發生故障時,數據仍然可以恢復、得以保存。面對海量數據的存儲、共享,硬件和軟件設備承載了極大的風險,因此如何構建大型、海量視頻監控存儲系統、數據分析系統以及容錯冗余機制是難題。
六、數據利用
安防監控雖然數據量很大,但真正有用的信息并不多。安防數據的有效性分為兩個方面,一方面有效信息可能只分布在一個較短的時間段內,根據統計學原理,信息呈現冪率分布,往往越高密度的信息對客戶價值越大;另一方面,數據的有效性體現在深層次挖掘龐大的海量數據,關聯得出有效信息。視頻監控業務網絡化、大聯網后,網內的設備越來越多,利用網內的閑置資源,實現資源的最大化利用,關乎運算的效率。在視頻監控領域,往往視頻分析的效率決定價值,更低的延遲、更準確的分析往往是客戶的普遍需求。如何對海量的視頻數據進行分析檢索業對行業提出更大的挑戰。
七、缺乏統一標準
國內安防行業經歷十幾年的快速發展,在此發展過程中,平安城市建設表現卓越,在安防應用中也一直走在前列,國內平安城市系統的建設也不斷推動著國內安防技術和安防廠商的發展。在平安城市項目的建設過程中,由于參與的安防廠家眾多,不同項目、不同系統甚至同一系統采用的設備廠商也不盡相同,為了更好的兼容各廠商產品,整個安防行業和政府也制定了一些標準,如ONVIF協議、GB28181協議以及各個地方省市發布的一些標準。
新一輪的智慧城市正在緊鑼密鼓地進行著,相對平安城市相對“簡單”的治安監控,智慧城市要求數據共享,跨區域視頻聯網監控、監控資源整合與共享以及政府各部門之間的視頻監控資源共享等等。但是不同的地方城市,不同的行業類別,不同的管理方式都會有不同的監控系統方案,數據融合或者共享兼容性問題更多,對整個系統建設是重大考驗。
平安城市系統面向的是安防行業設備與系統的兼容問題,隨著各種行標、地標的制定,各種問題基本得以解決;而智慧城市系統不僅僅是安防系統的整合,而是多個行業系統的集成應用,因缺乏統一標準帶來的復雜性可想而知。慶幸的是國家目前已經開始起草智慧城市建設的各種標準,而相關企業也在不斷規范自身系統的兼容性和開放性。
八、從非結構化的數據中提取結構化的數據出來
所謂非結構化數據是指在視頻里面進行特征的提取,這些可能是人類不能理解和不能處理的;結構化數據則是人可以理解和處理的,比如在視頻里有幾個活動目標、是人還是車。如果是人,身上穿的是什么樣的衣服;如果是車,車牌號是多少、什么樣的品牌型號、顏色、行進速度、方向等數據,這些都是可以轉化為結構化數據為人所用。目前,安防的數據很多涉及到視頻數據,而視頻數據本身是不能夠被結構化的數據,也就不能被計算機直接所處理。所以未來擺在技術人員面前的課題是如何把視頻數據轉換成計算機能夠處理的結構化或者半結構化數據。
九、尋找這些數據之間的關聯和價值
數據是有關聯沒關聯之分的,我們只能通過工具來找。所有這些存儲的特征數據,包括公安行業、平安城市中每天產生的海量視頻數據,可以為很多案件的偵查提供有價值的線索。現在技術需要攻克的難題就是能不能把這些數據通過相應的工具模塊,通過大數據技術把原來被忽視的數據信息關聯起來,找到或提取這些數據之間的相關性,為案件的偵破和方案決策提供科學的數據依據。