如今,伴隨著大數據在安防領域越來越深入的應用,也突現出一些技術難點。在IT領域,大數據技術發展較為成熟,針對不同的應用場景有較為豐富的技術選型以及技術路線,其中很多技術可以移植應用到安防領域中。但IT與安防畢竟是兩個不同的領域,兩者之間存在很多不一樣的地方。最大的不同,就是數據本身的不同,主要體現在一下方面:
數據類型不同。在IT領域,大數據處理的對象往往是網頁索引、用戶行為、日志記錄等字符型數據,這些是結構化、方便計算識別處理的數據。而在安防領域,數據往往以圖片、音頻、視頻等非結構化的數據,往往計算機不能直接識別,這些數據只有在人面前才顯得有意義。
數據量在數量級上的不同。在互聯網領域,單條日志記錄一般在一百字節之內,到了1PB的日志記錄,已經是一個足夠大的量。但在安防領域,一張普通的縮略圖就幾百KB,如果考慮高清攝像,高清視頻,這個數量要更大。一個普通的中等城市,在主要交通卡口拍攝的圖片,一年下來就能積壓幾個PB的數據,如果考慮視頻,這個數據量更大。
對數據的實時性要求不同。在互聯網行業,以日志型數據分析為主的典型應用中,對實時性要求沒那么高,比如淘寶的推薦系統,是否分析最近一個小時用戶的瀏覽記錄對于推薦效果關系不大。而在安防領域,前端攝像頭錄制的都是實時流,這是一個不間斷的數據流,最近錄制的數據超過一定時間沒有得到有效保存,將會永遠被丟失。
針對安防領域與IT領域在數據本身上的異同,把適合IT領域常規的大數據技術搬到安防領域就會碰到一些技術難點,表現如下:
存儲成本問題。在IT領域,海量的數據往往保存在分布式存儲系統中,為了提高數據的可靠性,一份數據往往復制成幾份相同的副本,分別保存在不同的節點中,當其中一些副本丟失時,可以從其他節點讀出數據。比如在Hadoop中,一份數據往往在集群中保存了相同的3份。如果有1PB的原始數據,則至少要占用3PB的磁盤空間。而在安防領域,幾個交通卡口的視頻,在一個較短的時間內,如果不覆蓋之前的數據,就能輕易積壓幾個PB。由于圖像、音頻、視頻數據本身的量太大,生搬傳統的多副本策略成本過高,我們需要設計出一些更高效同時不損失可用性的方案。
小文件存儲問題。這個問題是大數據技術面臨的一個共性問題,但在安防領域可能又突現得較為嚴重。在互聯網,小文本、圖片、音樂都是小文件,當層積較多時,都面臨如何存取這些海量小文件的問題。而在安防行業,小文件主要以圖片為主,比如一個城市的主要交通卡口在一年內,就能產生百億張圖片。對于這些海量的小文件的存儲,涉及到大量元數據的管理,保證存取的性能是問題的關鍵。
當然,問題并不可怕,通過分析研究安防應用場景,我們摸索出一些貼合安防大數據的解決方案。
D1Net評論:
總而言之,在借鑒互聯網大數據技術的同時,也要深入研究我們的安防場景,探索一些貼切安防應用的大數據技術。安防大數據第一階段要解決安防大數據的存儲問題,當解決好存儲問題后,我們進入到安防大數據分析處理階段,當我們具備嫻熟的分析處理技術后,可以進入深度學習,多維數據挖掘的深入應用。這一路還很漫長,我們慢慢探索,精益求精,一定能讓安防大數據更好的服務安防業,保證我們的幸福安康。