今年，安防行業(yè)得到很到的發(fā)展，作為主力軍的監(jiān)控市場更是耀眼矚目。監(jiān)控應用的范圍越來越大，勢必會長大量的數(shù)據(jù)。與此相應的我們的大數(shù)據(jù)時代已經(jīng)帶到來，大數(shù)據(jù)技術如何用科學的方式處理數(shù)據(jù)，會帶來怎樣的價值？
大數(shù)據(jù)信息來源豐富
在安防行業(yè)，涉及的數(shù)據(jù)信息類型很多，以數(shù)據(jù)的結(jié)構類型來看，包括了各類非結(jié)構化、結(jié)構化以及半結(jié)構化信息。非結(jié)構化數(shù)據(jù)主要指視頻錄像和圖片記錄，如監(jiān)控視頻錄像、報警錄像、摘要錄像、車輛卡口圖片、人臉抓拍圖片、報警抓拍圖片等；結(jié)構化數(shù)據(jù)則包括報警記錄、系統(tǒng)日志記錄、運維數(shù)據(jù)記錄、摘要分析結(jié)構化描述記錄，以及各種相關的信息數(shù)據(jù)庫，如人口信息、地理數(shù)據(jù)信息、車駕管信息等；半結(jié)構化數(shù)據(jù)則如人臉建模數(shù)據(jù)、指紋記錄等。
這些信息的來源有幾個渠道，一個是安防系統(tǒng)內(nèi)部產(chǎn)生的信息，如各種視頻錄像、抓拍圖片、系統(tǒng)運維數(shù)據(jù)、日志記錄、摘要記錄等；另外一些則是通過外部系統(tǒng)采集或者集成，如人口信息、地理數(shù)據(jù)信息、人臉庫數(shù)據(jù)、車駕管數(shù)據(jù)等。這些數(shù)據(jù)作為一個整體，構成了安防系統(tǒng)或者說安防領域的大數(shù)據(jù)基礎，并且具有以下特征：最顯著的是安防數(shù)據(jù)體量巨大并不斷快速膨脹，隨著視頻監(jiān)控圖像系統(tǒng)的不斷聯(lián)網(wǎng)和整合，以及視頻分辨率和幀率的不斷提高，實時視頻數(shù)據(jù)的存儲已經(jīng)從TB級別開始躍升到PB級別；其次，安防數(shù)據(jù)類型繁多，如上面提到的視頻、圖片、地理位置信息等等，而且隨著各類安防系統(tǒng)以及相關的信息系統(tǒng)的不斷整合，數(shù)據(jù)類型也會越來越多；另外，安防數(shù)據(jù)整體蘊含的價值密度低，但是價值高。以視頻監(jiān)控數(shù)據(jù)為例，在7×24小時連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅1、2分鐘，甚至1、2秒。同時，這些信息更新頻率特別快，安防數(shù)據(jù)每時每刻都在大量產(chǎn)生，信息每時每刻都在更新。
大數(shù)據(jù)視頻監(jiān)控4V特點
在這些數(shù)據(jù)信息當中，視頻監(jiān)控的數(shù)據(jù)占的比例不小，分析視頻監(jiān)控數(shù)據(jù)，發(fā)現(xiàn)它們主要呈現(xiàn)出：體積大、類型多、速度快、價值低這四大特點，又被稱為是4V：Volume、Variety、Velocity、Value，具體解釋如下：
第一，數(shù)據(jù)體量巨大(Volume)。高清化帶來單個監(jiān)控點數(shù)據(jù)量即以指數(shù)級增長，例如單個1080PIPC30天就會產(chǎn)生2T數(shù)據(jù)；IP化大聯(lián)網(wǎng)后，各平臺實現(xiàn)互聯(lián)，平安城市網(wǎng)內(nèi)攝像頭數(shù)量達數(shù)萬數(shù)十萬級別，其數(shù)據(jù)量之巨大可想而知。
第二，數(shù)據(jù)類型繁多(Variety)。視頻監(jiān)控領域的視頻編碼格式包括：H.264、MPEG-4、MJPEG等多樣化的編碼方式。而同時隨著各類物聯(lián)網(wǎng)技術的融入到視頻監(jiān)控業(yè)務，匯聚了包括各種傳感器、IT、CT系統(tǒng)產(chǎn)生的多樣的數(shù)據(jù)。業(yè)務系統(tǒng)需要把結(jié)構化與非結(jié)構化數(shù)據(jù)相互關聯(lián)，統(tǒng)一存儲。
第三，處理速度快(Velocity)。視頻數(shù)據(jù)隨時間快速增長，并以持續(xù)順序到達。在視頻監(jiān)控領域，視頻分析的效率決定價值，更低的延遲、更準確的分析是平安城市這類客戶的普遍需求。隨著數(shù)據(jù)量的增加，哪怕對TB級別的數(shù)據(jù)進行視頻內(nèi)容的數(shù)據(jù)分析和檢索，采用串行計算模式都可能需要花費數(shù)小時的計算，已遠遠不能勝任時效性的需求。
第四，價值密度低(Value)，效率要求高。在視頻監(jiān)控業(yè)務中，價值密度的高低與數(shù)據(jù)總量的大小成反比。一小時的視頻監(jiān)控內(nèi)容，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題。
架構更加靈活伸縮彈性更大
對于大數(shù)據(jù)的視頻監(jiān)控處理，我們根據(jù)數(shù)據(jù)的特點，基于大數(shù)據(jù)的架構，幾種視頻監(jiān)控數(shù)據(jù)在處理起來的時候更加的方便。
第一，架構更加靈活，伸縮彈性更大
對于一些中大型項目，由于起點的差異，缺乏視頻監(jiān)控架構的頂層設計，后期的擴容升級難免尾大不掉，如在建設初期就引入面向大數(shù)據(jù)的架構，為業(yè)務擴張和管理帶來好處。
第二，以廉價通用硬件迎合視頻監(jiān)控數(shù)據(jù)的爆發(fā)性增長
在面向大數(shù)據(jù)的架構中，可根據(jù)視頻監(jiān)控業(yè)務的部署需要，設立多個HDFS集群組成，采集的流數(shù)據(jù)會被劃分成段，并分布于數(shù)據(jù)節(jié)點，這些數(shù)據(jù)節(jié)點可以采用廉價通用型的硬件，由軟件技術保證其高可靠性，這種方式避免采用傳統(tǒng)高端硬件的模式，大大降低投資成本。
第三，通過高速并行計算實現(xiàn)智能分析和數(shù)據(jù)挖掘
對于金礦來講，唯有熠熠發(fā)光的金子才是有價值，視頻監(jiān)控數(shù)據(jù)就猶如這樣一座金礦，傳統(tǒng)人工和串行的數(shù)據(jù)篩選方式已在大數(shù)據(jù)時代不能滿足要求。面向大數(shù)據(jù)的架構原理就是將海量數(shù)據(jù)分解為較小的更易訪問的批量數(shù)據(jù)，在多臺服務器上并行分析處理，從而大大加快視頻數(shù)據(jù)的處理進程。
結(jié)合視頻監(jiān)控業(yè)務特點，引入Hadoop的架構，以頂層設計的視角來構建面向大數(shù)據(jù)視頻監(jiān)控架構，將對未來視頻監(jiān)控業(yè)務的規(guī)劃設計產(chǎn)生深遠的影響。下面簡要描述下大數(shù)據(jù)視頻監(jiān)控邏輯架構。
數(shù)據(jù)源層，包括實時數(shù)據(jù)和非實時數(shù)據(jù)。實時數(shù)據(jù)指IP攝像頭和傳感器產(chǎn)生的實時流媒體數(shù)據(jù)。非實時數(shù)據(jù)指從DVR、編碼器、第三方系統(tǒng)導入的媒體數(shù)據(jù)。
大數(shù)據(jù)存儲層，采用了HDFS和HBASE，實現(xiàn)數(shù)據(jù)低成本、高可靠的管理。把采集的視頻流保存在HDFS集群內(nèi)，并通過HBase建立訪問的索引。把傳統(tǒng)NVR和專用存儲進行重構，納入到整體的分布式文件系統(tǒng)中來。
大數(shù)據(jù)計算層，實現(xiàn)智能分析和數(shù)據(jù)挖掘。通過MapReduce把對大視頻的分析進行分解，充分利用閑置資源，把計算任務交由多臺服務器進行并行計算分析，另外一方面，根據(jù)智能分析產(chǎn)生的視頻元數(shù)據(jù)，通過Hive挖掘視頻元數(shù)據(jù)的價值信息。業(yè)務及管理層，實現(xiàn)設備和業(yè)務管理?；赯ookeeper組成的服務器集群，可以保證業(yè)務系統(tǒng)的無故障運營，基于Ganglia實現(xiàn)對攝像頭等設備的監(jiān)管。
基于大數(shù)據(jù)的視頻架構，本質(zhì)上是把視頻數(shù)據(jù)作為最有價值的資產(chǎn)，以數(shù)據(jù)作為核心來構建的技術架構，重點解決了海量的視頻數(shù)據(jù)分散和集中式存儲并存、多級分布問題，極大提升了非結(jié)構化視頻數(shù)據(jù)讀寫的效率，為視頻監(jiān)控的快速檢索、智能分析提供了端到端的解決方案。
大數(shù)據(jù)視屏監(jiān)控帶來的價值
大數(shù)據(jù)視頻架構是革命性的技術，特別在實時智能分析和數(shù)據(jù)挖掘方面，讓視頻監(jiān)控從人工抽檢，進步到高效事前預警、事后分析，實現(xiàn)智能化的信息分析、預測，為視頻監(jiān)控領域業(yè)務帶來深刻的變革。
視頻監(jiān)控進入網(wǎng)絡化時代以后，越來越多融入IT新興技術，大數(shù)據(jù)技術在視頻監(jiān)控領域的廣闊發(fā)展路徑已經(jīng)顯現(xiàn)，不少廠家正致力于通過將大數(shù)據(jù)技術和視頻監(jiān)控業(yè)務的完美融合，打造大數(shù)據(jù)時代的視頻監(jiān)控解決方案。
京公網(wǎng)安備 11010502049343號