視頻監(jiān)控從最早的模擬閉路監(jiān)控系統(tǒng)開始,經(jīng)歷過模擬監(jiān)控、數(shù)字監(jiān)控、網(wǎng)絡監(jiān)控等重要發(fā)展階段,如今進入了大數(shù)據(jù)的時代。大數(shù)據(jù)是飛速增長的,用現(xiàn)有數(shù)據(jù)庫管理工具難以管理所有的數(shù)據(jù)集合。之于安防行業(yè),大數(shù)據(jù)來了,因此,問題也來了。
一、數(shù)據(jù)激增帶來三大問題
大數(shù)據(jù)是飛速增長的,用現(xiàn)有數(shù)據(jù)庫管理工具難以管理所有的數(shù)據(jù)集合。這些數(shù)據(jù)包括:社交媒體、移動設備、科學計算和城市中部署的各類傳感器等等,其中視頻又是構成數(shù)據(jù)體量最大的一部分。在視頻監(jiān)控大聯(lián)網(wǎng)、高清化推動下,視頻監(jiān)控業(yè)務步入數(shù)據(jù)洪水時代不可避免。
視頻監(jiān)控數(shù)據(jù)有兩個方面的內(nèi)涵——海量和非結構化。視頻監(jiān)控數(shù)據(jù)量規(guī)模龐大,并且隨著高清化、超高清化的趨勢加強,視頻監(jiān)控數(shù)據(jù)規(guī)模將以更快的指數(shù)級別增長;與通常講的結構化數(shù)據(jù)不同,視頻監(jiān)控業(yè)務產(chǎn)生的數(shù)據(jù)絕大多數(shù)以非結構化的數(shù)據(jù)為主,這給傳統(tǒng)的數(shù)據(jù)管理和使用機制帶來了極大的挑戰(zhàn)。
1、存儲
視頻監(jiān)控數(shù)據(jù)具有高并發(fā)、大容量的特點。以1080P為例,在8Mbps的碼率下,每只攝像頭每天產(chǎn)生的視頻數(shù)據(jù)約84GB,中等城市的監(jiān)控規(guī)模一般為數(shù)千到數(shù)萬個攝像頭,而且這些數(shù)據(jù)一般要求必須在系統(tǒng)中保存30天以上。存儲系統(tǒng)還必須具有高級別的容錯性,存儲介質(zhì)的故障率通常較高,但故障發(fā)生時不應造成監(jiān)控數(shù)據(jù)的丟失。此外,由于安防項目本身在不斷發(fā)展,系統(tǒng)可能要進行在線擴容和升級,這就要求存儲系統(tǒng)具有高度的可擴展性,可在系統(tǒng)中簡單便捷地增添存儲設備。
2、共享
大數(shù)據(jù)需要通過快速的采集、發(fā)現(xiàn)和分析,從大量化、多類別的數(shù)據(jù)中提取價值。安防大數(shù)據(jù)時代最顯著的特征就是海量和非結構化數(shù)據(jù)共享,用以提高數(shù)據(jù)處理能力。與科學計算、互聯(lián)網(wǎng)相比,視頻監(jiān)控的大數(shù)據(jù)處理難度尤大,首先,視頻錄像是更原始的非文本非結構化的數(shù)據(jù),必須經(jīng)過復雜繁重的分析處理才能提取出文本結構化的數(shù)據(jù)進行下一步處理;其次視頻錄像相對其它形式數(shù)據(jù)的容量要大幾個數(shù)量級,對傳輸、存儲和計算的帶寬要求大。
3、安全
平安城市、智慧城市的建設促使安防存儲技術的新應用,智慧城市一大要求就是將視頻存儲數(shù)據(jù)相互之間進行聯(lián)動、共享。與此同時,視頻監(jiān)控數(shù)據(jù)具有私密性高、保密性強的特點,不僅是事后追查的依據(jù)、而且更是后續(xù)數(shù)據(jù)分析挖掘的基礎。因此我們說數(shù)據(jù)安全一方面是指不受到外界數(shù)據(jù)的入侵和非法獲取、另一方面是指龐大系統(tǒng)的魯棒性、體系容錯機制,確保硬件軟件發(fā)生故障時,數(shù)據(jù)仍然可以恢復、得以保存。面對海量數(shù)據(jù)的存儲、共享,硬件和軟件設備承載了極大的風險,因此我們?nèi)绾螛嫿ù笮汀⒑A恳曨l監(jiān)控存儲系統(tǒng)、數(shù)據(jù)分析系統(tǒng)以及容錯冗余機制是難題。
二、大數(shù)據(jù)存儲格局
作為數(shù)據(jù)載體和驅(qū)動力量,存儲系統(tǒng)成為大數(shù)據(jù)基礎架構中最為關鍵的核心。
傳統(tǒng)的數(shù)據(jù)中心無論是在性能、效率,還是在投資收益、安全,已經(jīng)遠遠不能滿足新興應用的需求,數(shù)據(jù)中心業(yè)務急需新型大數(shù)據(jù)處理中心來支撐。除了傳統(tǒng)的高可靠、高冗余、綠色節(jié)能之外,新型的大數(shù)據(jù)中心還需具備虛擬化、模塊化、彈性擴展、自動化等一系列特征,才能滿足具備大數(shù)據(jù)特征的應用需求。這些史無前例的需求,讓存儲系統(tǒng)的架構和功能都發(fā)生了前所未有的變化。顯然,NVR架構的存儲主要面向小型高清監(jiān)控,無法應對大數(shù)據(jù)需求。以下介紹兩種大數(shù)據(jù)存儲架構。
SAN架構下的存儲系統(tǒng)
平臺SAN架構主要面向中大型高清監(jiān)控系統(tǒng),前端路數(shù)成百上千甚至上萬。一般多采用FCSAN或IPSAN搭建高清視頻存儲系統(tǒng)。作為監(jiān)控平臺的重要組成部分,前端監(jiān)控數(shù)據(jù)通過錄像存儲管理模塊存儲到SAN中。此種架構接入高清前端路數(shù)相對節(jié)點NVR有了較高提升,具備快捷便利的可擴展性,技術成熟。
FCSAN在行業(yè)用戶、封閉存儲系統(tǒng)中應用較多,比如縣級或地級市高清監(jiān)控項目,大數(shù)據(jù)量的并發(fā)讀寫對千兆網(wǎng)絡交換提出了較大的挑戰(zhàn),但應用FCSAN構建相對獨立的存儲子系統(tǒng),可以有效解決上述問題。
值得指出的一點是,F(xiàn)CSAN采用分級集中存儲的方案,視頻數(shù)據(jù)按區(qū)域存儲在不同的子平臺中,通常使用RAID來進行存儲。但RAID在性能、利用率、可靠性等方面很難達到理想的平衡,而且成本偏高。北京智慧倉存儲技術有限公司致力于在大數(shù)據(jù)的時代背景下,為客戶提供高性價比、高價值的存儲產(chǎn)品和解決方案。我們是國內(nèi)唯一擁有光纖通道技術、硬件RAID技術和嵌入式技術等RAID控制器技術的廠家。徹底解決了困擾安防監(jiān)控客戶的價格瓶頸、性能瓶頸和穩(wěn)定性瓶頸。
對于IPSAN而言,在ISCSI環(huán)節(jié)數(shù)據(jù)并發(fā)讀寫傳輸速率有所消耗,由于這種分級集中存儲進入安防行業(yè)較早,仍然得到很多客戶的青睞。
構架云的存儲
大數(shù)據(jù)最核心應用是為了智能分析,就如同存儲是大數(shù)據(jù)最核心技術一般。監(jiān)控系統(tǒng)中,存儲和傳輸問題是首要面臨的難關,大量無用視頻信息被存儲、傳輸,既浪費了存儲空間又增加了帶寬,智能分析的目的是為了視頻存儲所需要的空間減少從而緩解帶寬壓力,或者對于一些無用視頻則采用低碼流方式進行壓縮或傳輸,更方便整套系統(tǒng)調(diào)查或查詢使用,提升監(jiān)控在大數(shù)據(jù)的應用價值。
對于大數(shù)據(jù)的智能分析,云存儲架構方式是最佳方案。不過這種應用目前只在平安城市項目有應用,技術的成熟度相對于SAN結構還需完善。
三、結束語
探索大數(shù)據(jù)安防,最核心是要把握大數(shù)據(jù)給安防行業(yè)帶來哪些挑戰(zhàn),選擇哪些存儲方式去解決數(shù)據(jù)管理的問題。然而,應用才剛開始,監(jiān)控存儲格局也在大數(shù)據(jù)時代出現(xiàn)改變,我們可以拭目以待!