隨著智慧城市和智能交通的快速發展,金融、交通、政府等傳統領域的安防應用更加深入,新生領域如教育、衛生、體育、能源飛速發展,社區、居民相關應用也在不斷升溫,移動互聯設備隨之快速激增,產生了海量的非結構化視音頻數據,帶動了大數據的存儲、管理、分析等應用。
驅動大數據發展的重要因素主要來自兩個方面:一是消費領域,如網購及社交媒體應用產生的大量數據;另一方面來自城市基礎設施建設,安防便是其中之一。建設平安城市的過程伴隨大量數據的產生,尤其是以視頻監控為主要特征的數字安全監控(Digital Security Surveillance,DSS)。我們所居住的城市中有無數的高清攝像頭,涉及治安監控、指揮通信、偵查破案、規范執法、社會服務等,視頻接入規模從幾千到幾十萬,隨著安防監控對高清、智能、聯網的要求越來越高,每天產生的數據規模正以驚人的速度不斷增長。
大數據時代來臨,行業變革才剛剛開始,未來前景廣闊。就目前發展來看,國內安防行業對大數據的應用領域還較有限,主要集中在公共領域。目前我國在安防公共領域對大數據的運用主要集中在智能交通、司法系統等方面。
智能交通:交通運輸部今年7月份下發通知,將對公共交通信息化應用系統建設、相關支撐系統建設、數據資源與交換系統建設提供資金支持。在政策利好支撐下,可以從以下三方面掘金智能交通領域:
從事城市交通系統建設、高速公路信息化建設等領域;
智能交通發展必需的視頻監控設備供應商;
提供導航地圖、地理信息系統軟件建設的內容提供商。
司法系統:公安市場大規模的信息化和裝備投資產生了海量的非結構化數據,公安的實戰應用是大數據的重要應用領域。該領域大數據類公司業務包括電子數據取證、電子數據鑒定、網絡輿情分析、數字**、公證云、搜索云以及取證云服務等。
在安防行業,涉及的數據信息類型很多,以數據的結構類型來看,包括各類非結構化、結構化及半結構化信息。其中,非結構化數據主要包括視頻錄像和圖片記錄,如監控視頻錄像、報警錄像、摘要錄像、車輛卡口圖片、人臉抓拍圖片、報警抓拍圖片等;結構化數據則包括報警記錄,系統日志記錄,運維數據記錄,摘要分析結構化描述記錄以及各種相關的信息數據庫,如人口信息、地理數據信息、車駕管信息等;半結構化數據則如人臉建模數據,指紋記錄等。
對 IT大數據來說,其特征通常用4V(Velocity、Variety、Volume、Veracity)來概括,但對于安防大數據來說,它有自己獨特的特點。首先,安防大數據以非結構化的視頻監控數據為主,因而它更側重于對非結構化數據的信息分析、提取挖掘以及處理能力;其次,就數據容量而言,以視頻錄像為主的安防大數據對傳輸、存儲和計算過程中需要的帶寬以及存儲空間要求都更高;再次,以數據量基礎做比較,安防大數據中的信息價值密度更低,從海量的圖像信息中快速和準確地檢測或者挖掘出有用信息的難度更大;最后,視頻監控數據7×24小時都在持續不斷地更新積累,其時效性更高。
安防大數據的處理和分析工具主要有兩類:一類是對視頻圖像等非結構化信息的處理和分析工具,包括視頻智能分析工具、視頻摘要工具、圖像清晰化工具、視頻清晰化工具、視頻轉碼工具、視頻編輯工具等等;另一類則是對結構化、半結構化信息的大數據分析處理工具,此類處理和分析工具安防界吸取了IT界在處理大數據方面的架構和經驗,比較流行的如Hadoop,Spark大數據處理的框架,以及Mahout、R數據挖掘工具,以對結構化和半結構化的數據可以實現快速和準確的數據分析和挖掘。
大數據在安防行業的應用使得安防更加智能化,大數據的技術一般分為數據采集、存儲、挖掘和分析技術。其中,智能分析居于核心地位。
智能分析是安防大數據區別于IT大數據的根本點,只有利用智能分析技術將安防大數據的非結構化數據轉換為結構化數據,才能將IT大數據成熟的技術體系應用到安防大數據中,充分發揮安防大數據的作用。對于視頻圖像等非結構化數據的分析和處理,目前可能更多地是把它歸屬到智能分析的范疇,這些技術很多已在初期應用中不斷改進和完善,很多更新的智能分析技術仍處在研發過程中,對這類數據的分析和處理也將成為安防大數據的核心價值點。日益豐富的智能算法將大大提高視頻監控攝像機的使用范圍和價值,處于應用初級階段的智能視頻監控,也將隨著智能算法的日益豐富而快速發展。而數字處理芯片、編解碼能力以及壓縮算法,是影響圖像處理技術的重要因素。安防智能化的核心還體現在VA(視頻分析或圖像分析),而VA需要底層算法的支持并運用單元執行,這可提高視頻分析的效率。
隨著數字安防技術的普及,監控技術逐漸往高清化、網絡化發展,隨之而來的是海量的數據存儲問題,海量數據必須擁有能夠進行可靠、可保證效率且擁有快速的讀寫以及響應能力的存儲。存儲設備從監控系統的邊緣化位置逐漸走向了中心,在監控系統的比重也隨著集中化的提升而得以大幅提高,傳統的存儲方式已經不能適應網絡存儲的需求,云存儲作為一種新型的存儲服務應運而生。
所謂云存儲,是指通過集群應用、網格技術及分布式文件系統功能,將網絡中大量不同類型的存儲設備通過應用軟件集合起來協同工作,共同對外提供數據存儲和業務訪問的一種系統,即以數據存儲和管理為核心的云計算系統。
云計算、云存儲和大數據將對視頻監控行業帶來存儲架構、虛擬化、安全和高效處理四個方面的變化。
首先,大數據的特征對存儲容量的總體擁有量需求激增,海量存儲模式也從傳統的集中存儲式架構發展到分布式存儲架構,這種分布式架構,在多副本、網絡 RAID技術、快照技術驅動下,實現海量存儲的高可靠、大并發能力,推進了存儲從設備供應模式到服務模式的升級和轉變。
其次,虛擬化技術在存儲服務能力建設上將繼續不斷發展,升級模式從SCALE-UP向SCALE-OUT模式發展,為無處不在的存儲資源的調度與管理、存儲資源的在線擴容升級、數據持續保護、存儲服務不間斷等實現有力的支撐。虛擬化,一方面大大簡化應用環節,節省客戶建設成本,同時提供更強的存儲和共享功能;另一方面解決了存儲空間的浪費,可以自動重新分配數據,提高了存儲空間的利用率,同時具備負載均衡、故障冗余功能。
再次,安全方面實時計算和存儲,對存儲設備性能、存儲網絡性能、存儲資源配置簡化性要求越來越高。在復雜的存儲服務中,基于虛擬化所構建的混合存儲系統,系統的自動分層存儲能力尤為重要。伴隨閃存的成本不斷降低的市場,市場上也有基于全閃存陣列產品的出現,基于虛擬化下的存儲資源自動化分層,實現數據分層存儲,并遷移的策略,對大數據實時性、安全性更加不可或缺。
最后,面對結構化數據、非結構化數據、半結構化等元數據的處理機制,云存儲管理可以實現自動化和智能化,所有的存儲資源被整合到一起,客戶看到的是單一存儲空間,提高了存儲效率;云存儲能夠實現規模效應和彈性擴展,降低運營成本,避免資源浪費。受限于安防視頻監控自身業務的特點,監控云存儲和現有互聯網云計算模型會有區別,如安防用戶傾向于視頻信息存儲在本地、政府視頻監控應用比較敏感、視頻信息的隱私問題、視頻監控對網絡帶寬消耗較大等問題。海量數據存儲的檢索、目錄服務、去重化都將在以大數據牽動的存儲應用中,給存儲產業帶來新的發展機遇。
當前,安防監控的發展如火如荼,與此同時,云存儲技術在安防監控的應用也日漸普遍,作為未來安防存儲發展的一種趨勢,目前,云存儲廠商正在將各類搜索、應用技術和云存儲相結合,以便向用戶提供一系列的數據服務,但是,云存儲的發展狀況仍受限于以下幾個因素:
網絡帶寬的限制:真正的云存儲系統將會是一個多區域分布、遍布全國、甚至于遍布全球的龐大公用系統,使用者需要通過adsl、ddn等寬帶接入設備來連接云存儲。只有寬帶網絡得到充足的發展,使用者才有可能獲得足夠大的數據傳輸帶寬,實現大量容量數據的傳輸,真正享受到云存儲服務,否則只能是空談。
數據安全性:從云計算誕生,安全性一直是企業實施云計算首要考慮的問題之一,同樣,在云存儲方面,安全仍是首項考慮的問題。云存儲系統的安全威脅主要表現如下:
云存儲提供可伸縮的數據服務,無法清晰定義安全邊界及保護設備,給云存儲的安全保護措施增加了難度;
第2頁:云存儲通過IP網絡傳輸數據
云存儲通過IP網絡傳輸數據,因此傳統網絡上的安全威脅也存在于云存儲系統上,如數據破壞、數據竊取、數據篡改、拒絕服務等,影響了數據的安全存儲;
數據存儲的安全性包括靜態存儲安全和動態存儲安全,靜態存儲安全是確保云存儲系統上最終存儲數據的存放安全,動態存儲安全是確保在數據傳輸時的完整性和保密性;
云存儲需要保證數據的容錯J性、可恢復性和完整性,在災難發生時如何避免數據服務中斷及數據丟失等問題;
云存儲系統作為一個公共數據中心,具有多客戶連接、高交互性、數據安全保障要求高等特點,對入侵、攻擊、病毒和惡意軟件十分敏感,有必要對云存儲中的數據流進行實時主動地檢測和防御。
應用存儲的發展:云存儲不僅僅是存儲,更多的是應用。應用存儲是一種在存儲設備中集成了應用軟件功能的存儲設備,它不僅具有數據存儲功能,還具有應用軟件功能,可以看作是服務器和存儲設備的集合體。應用存儲技術的發展可以大量減少云存儲中服務器的數量,從而降低系統建設成本,減少系統中由服務器造成單點故障和性能瓶頸,減少數據傳輸環節,提供系統性能和效率,保證整個系統的高效穩定運行。
在信息化浪潮的沖擊下,人們當前已經步入互聯網與云計算的時代,整個安防行業也從產品銷售、平臺建設逐漸轉向系統運營和數據分析,安防行業IT化已經是不可避免的趨勢。
在視頻監控領域,伴隨著高清監控時代的大潮,產生了越來越多的海量視頻數據。但是,大量的視頻數據仍然是獨立的、零散的。視頻錄像數據散布在各個行業、單位獨立的系統中,沒有發揮達到聯網、共享,業界也沒有形成對數據挖掘、利用的通用方法,核心技術仍然在研究中,尚沒有實現重大突破。
目前大量的視頻監控數據運用于安防領域,但主要以人工搜索為主,政府之間跨警種、跨部門、跨區域的聯網共享應用仍然較少,更不用說為老百姓、為社會所用的應用還沒有啟動。如能開放這些視頻資源,為老百姓服務,而不僅僅用于治安、刑事案件,能通過信息公開、數據共享、數據挖掘推動新型的數據服務業的大發展,將是社會的福音。
安防行業從單一產品到系統集成,從模擬監控到網絡監控,從封閉系統到大數據、云平臺,已經不是簡單的視頻傳輸,而是涉及數據采集、通信、處理、反饋的IT 化系統解決方案。在產品層面,監控系統平臺的儲存、傳輸與服務器技術更依賴于IT技術。未來基于大數據處理提供智能分析也需要IT技術的支撐。
而安防企業需要做的,便是積極加強內功,提高研發能力,加強技術儲備,應對更大數據量帶來的沖擊。后期安防廠家會進行分化,部分傳統安防廠家更加專注于某固定安防領域繼續深耕,專注于產品和技術,一部分安防廠家會向大安防集成平臺轉變,專注于業務整合和數據分析處理。