得益于IT信息技術的快速進步,人類可以隨時隨地記錄下產生的各類數據,而同時數據存儲的成本也正以前所未有的速度下降,一個大數據的時代在悄然來臨。根據IDC預測,全球在2010年正式進入ZB時代,全球數據量大約每兩年翻一番,意味著人類在最近兩年產生的數據量相當于之前產生的全部數據量。爆炸式增長的數據,正推動人類進入大數據的時代。
大數據是飛速增長的,用現有數據庫管理工具難以管理所有的數據集合。這些數據包括:社交媒體、移動設備、科學計算和城市中部署的各類傳感器等等,其中視頻又是構成數據體量最大的一部分。在視頻監控大聯網、高清化推動下,視頻監控業務步入數據洪水時代不可避免。如圖1所示。
視頻監控 數據為“大”
視頻監控數據有兩個方面的內涵——海量和非結構化。視頻監控數據量規模龐大,并且隨著高清化、超高清化的趨勢加強,視頻監控數據規模將以更快的指數級別增長;與通常講的結構化數據不同,視頻監控業務產生的數據絕大多數以非結構化的數據為主,這給傳統的數據管理和使用機制帶來了極大的挑戰。
數據“洪水”帶給視頻監控的困境
飛速增長的視頻監控數據,使得傳統視頻監控體系架構、數據的管理方式、數據分析應用等面臨新的困境。如圖2所示。
視頻監控 數據為“大”
困境一,數據量的急劇擴大和IT投資之間的矛盾。按照IT產業的法則:在滿足客戶需求的前提之下,往往技術成本越低,其生命力越強。由于數據量的急速擴大,以及隨之而來的大規模計算的需求越來越多,一味采用高配硬件,使得硬件投資成為客戶不可承受之重,客戶越來越希望在滿足需求的前提下,用中低端的硬件來替換高配硬件。
困境二,海量數據和有效數據之間的矛盾。攝像頭7×24小時工作,如實記錄鏡頭覆蓋范圍發生的一切,僅僅記錄信息是不夠的,因為對于客戶來講可能大部分信息是無效,有效信息可能只分布在一個較短的時間段內,按照數學統計的說法,信息是呈現冪律分布的,也稱之為信息的密度,往往越高密度的信息對客戶價值越大。
困境三,資源利用和效率之間的矛盾,串行計算和并行計算的矛盾。視頻監控業務網絡化、大聯網后,網絡內的設備越來越多,利用閑置的計算資源,實現資源的最大化利用,關乎運算的效率。在視頻監控領域,往往視頻分析的效率決定價值,更低的延遲、更準確的分析往往是平安城市這類客戶的普遍需求。隨著數據量的增加,哪怕對TB級別的數據進行對視頻內容的數據分析和檢索,采用串行計算的模式都可能需要花費數小時的計算,已遠遠不能勝任時效性的需求。視頻的分析和檢索,不能依賴于傳統的手段,巨量數據的效率優化,并行計算是視頻智能分析的唯一出路。
因為大數據帶來了很多現實中的難題,為了解決這些難題需要新的技術變革,需要新一代的數據庫技術,業界稱之為大數據技術。IDC這樣定義大數據技術:大數據技術將被設計用于在成本可承受(economically)的條件下,通過非常快速(velocity)的采集、發現和分析,從大量化(volumes)、多類別(variety)的數據中提取價值(value),將是IT領域新一代的技術與架構的變革。Hadoop技術正是在此背景下誕生,歷經數年的積累,Hadoop已成長為一個強大的生態系統,不但衍生出HDFS、HBase、Hive等多個子項目,成為IT領域廣泛采用的大數據模型框架。
大數據技術和視頻監控業務的融合
視頻監控業務正是一個典型的數據依賴型業務,依靠數據說話??梢哉f,大數據與視頻監控業務有著天然的結合。綜合來看,大數據與視頻監控業務的結合主要體現在“存”、“看”、“用”上。如圖3所示。
視頻監控 數據為“大”
“閃存”:如果類比水庫蓄水的方式,典型的網絡視頻監控數據存儲模型是一個由小溪匯聚河流、再匯聚到水庫的蓄水方式。小溪數量增多、水量增大是水庫蓄水量的保證,然而傳統方式下蓄水量增大將提高水庫建造成本和蓄水安全的要求。而采用分布式蓄水模式,在河流中游建立多個中間蓄水池,不僅可以減少主水庫蓄水壓力和成本,化整為零也提高了就近用水效率。在大數據技術支撐下,網絡視頻監控數據存儲模型可轉向分布式的數據存儲體系,提供高效、安全、廉價的存儲方式。
“易看”:在視頻監控業務中,錯看漏看、來不及看等是常見的困擾點。大數據監控圖像的回溯給許多安防監控管理人員帶來了生理與心理的雙重挑戰。在大量人力投入的公安案件追溯中,都常常耳聞“看到吐”、“看到暈”等無奈和感嘆??上攵话懔闶坌袠I、金融行業等,對于視頻監控圖像的回溯就更為困難。在視頻監控大數據趨勢已經來臨之際,依靠人眼去檢索、查看所有視頻圖像數據已經不太現實。通過大數據技術實現視頻圖像模糊查詢、快速檢索、精準定位,讓看變得簡單迫在眉睫。
“善用”:視頻監控業務中,看只是信息采集的方式之一,用才是業務應用的根本。視頻監控業務的效率問題已經成為阻礙產業發展的關鍵瓶頸。
隨著視頻監控攝像機覆蓋廣度、密度增大,視頻圖像數據量呈指數級上升,而視頻監控數據的使用效率卻在下降。智能交通應用、消費者行為分析應用等綜合視頻監控和圖像智能分析的業務出現,正努力突破視頻監控效率值及商業價值低下的瓶頸。通過大數據技術,進一步挖掘海量視頻監控數據背后的價值信息,快速反饋內涵知識輔助決策判斷是將視頻監控用好、用善的金鑰匙。
面向大數據的視頻監控體系架構
視頻監控業務的核心就是數據,數據就是業務本身,那么基于大數據架構,可以給中大型的視頻監控項目帶來諸多的裨益。
第一,架構更加靈活,伸縮彈性更大。對于一些中大型項目,由于起點的差異,缺乏視頻監控架構的頂層設計,后期的擴容升級難免尾大不掉,如在建設初期就引入面向大數據的架構,為業務擴張和管理帶來好處。
第二,以廉價通用硬件迎合視頻監控數據的爆發性增長。在面向大數據的架構中,可根據視頻監控業務的部署需要,設立多個HDFS集群組成,采集的流數據會被劃分成段,并分布于數據節點,這些數據節點可以采用廉價通用型的硬件,由軟件技術保證其高可靠性,這種方式避免采用傳統高端硬件的模式,大大降低投資成本。
第三,通過高速并行計算實現智能分析和數據挖掘。對于金礦來講,唯有熠熠發光的金子才有價值,視頻監控數據就猶如這樣一座金礦,傳統人工和串行的數據篩選方式已在大數據時代不能滿足要求。面向大數據的架構原理就是將海量數據分解為較小的更易訪問的批量數據,在多臺服務器上并行分析處理,從而大大加快視頻數據的處理進程。
大數據視頻監控構架帶來的價值
大數據視頻架構是革命性的技術,特別在實時智能分析和數據挖掘方面,讓視頻監控從人工抽檢,進步到高效事前預警、事后分析,實現智能化的信息分析、預測,為視頻監控領域業務帶來深刻的變革:
平安城市領域,實時匯總并綜合分析各種公共安全數據和資料,為執法人員快速準確應對提供科學依據:如實時調閱現場視頻錄像、犯罪嫌疑人記錄、同一地區的相似案件資料;進行地理、時間和空間的比較分析,揭示其犯罪模式和行為模式;追蹤嫌疑人與其車輛的位置等。指揮人員也可以參照各種數據對不同來源的資料進行綜合分析,制作指揮圖。
智能交通行業,可以輕松監控攝像覆蓋范圍內的所有車輛的行駛狀態、運行軌跡,快速分析出其是否違章,通過對海量交通數據的比對、分析和研判,實現指定車輛行駛路徑、道路擁堵研判等功能。
云服務領域,實現基于大數據的視頻監控云服務,讓攝像機僅通過互連網就能連接云端的視頻監控托管服務,通過快速、智能的分析部署在云端的大數據,為小型企業、零售商店、餐館酒店等提供實時監控視頻和潛在風險管理,甚至能提供收費的基于視頻內容的分析報告,如日常的客戶數,平均隊列長度等,創造新的商業模式。
結束語
視頻監控進入網絡化時代以后,越來越多融入IT新興技術,大數據技術在視頻監控領域的廣闊發展路徑已經顯現,華為正致力于把大數據技術和視頻監控業務相互融合,打造大數據時代的視頻監控解決方案。