根據(jù)IDC預(yù)測,全球在2010年已正式進(jìn)入ZB時(shí)代,全球數(shù)據(jù)量大約每兩年翻一番,意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量。爆炸式增長的數(shù)據(jù),正推動人類進(jìn)入大數(shù)據(jù)的時(shí)代。大數(shù)據(jù)包括社交媒體、移動設(shè)備、科學(xué)計(jì)算和城市中部署的各類傳感器信息,其中視頻是構(gòu)成數(shù)據(jù)體量最大的組成部分。據(jù) IMSResearch統(tǒng)計(jì),2011年全球攝像頭的出貨量達(dá)到2646萬臺,預(yù)計(jì)到2015年攝像頭出貨量達(dá)5454萬臺。一天產(chǎn)生的視頻監(jiān)控?cái)?shù)據(jù)超過1500PB,而累計(jì)歷史數(shù)據(jù)將更為龐大,在視頻監(jiān)控大聯(lián)網(wǎng)、高清化推動下,視頻監(jiān)控業(yè)務(wù)將面臨海量非結(jié)構(gòu)化數(shù)據(jù)存儲、數(shù)據(jù)共享、數(shù)據(jù)安全及數(shù)據(jù)利用四大難題。
大數(shù)據(jù)成安防監(jiān)控發(fā)展潮流
在視頻監(jiān)控領(lǐng)域,伴隨著高清監(jiān)控時(shí)代的大潮,產(chǎn)生了越來越多的海量視頻數(shù)據(jù)。但是,大量的視頻數(shù)據(jù)仍然是獨(dú)立的、零散的。視頻錄像數(shù)據(jù)散布在各個行業(yè)、單位獨(dú)立的系統(tǒng)中,沒有發(fā)揮達(dá)到聯(lián)網(wǎng)、共享,業(yè)界也沒有形成對數(shù)據(jù)挖掘、利用的通用方法,核心技術(shù)仍然在研究中,尚沒有實(shí)現(xiàn)重大突破。
目前大量的視頻監(jiān)控?cái)?shù)據(jù)運(yùn)用于安防領(lǐng)域,但主要以人工搜索為主,政府之間跨警種、跨部門、跨區(qū)域的聯(lián)網(wǎng)共享應(yīng)用仍然較少,更不用說為老百姓、為社會所用的應(yīng)用還沒有啟動。如能開放這些視頻資源,為老百姓服務(wù),而不僅僅用于治安、刑事案件,能通過信息公開、數(shù)據(jù)共享、數(shù)據(jù)挖掘推動新型的數(shù)據(jù)服務(wù)業(yè)的大發(fā)展,將是社會的福音。
大數(shù)據(jù)是未來發(fā)展趨勢,中國很多公司現(xiàn)在都在做大數(shù)據(jù)業(yè)務(wù),但真正將大數(shù)據(jù)的挖掘和應(yīng)用落到實(shí)處,轉(zhuǎn)變?yōu)樯虡I(yè)模式的企業(yè)還是很少,目前很多大數(shù)據(jù)概念都是噱頭。而安防企業(yè)需要做的,便是積極加強(qiáng)內(nèi)功,提高研發(fā)能力,加強(qiáng)技術(shù)儲備,應(yīng)對更大數(shù)據(jù)量帶來的沖擊。后期安防廠家會進(jìn)行分化,部分傳統(tǒng)安防廠家更加專注于某固定安防領(lǐng)域繼續(xù)深耕,專注于產(chǎn)品和技術(shù),一部分安防廠家會向大安防集成平臺轉(zhuǎn)變,專注于業(yè)務(wù)整合和數(shù)據(jù)分析處理。
大數(shù)據(jù)考驗(yàn)云存儲能力
從目前大部分的安防系統(tǒng)架構(gòu)看,安防大數(shù)據(jù)的傳輸渠道主要是網(wǎng)絡(luò),一般都采用聯(lián)網(wǎng)匯聚、分級存儲的機(jī)制,網(wǎng)絡(luò)一般為千兆網(wǎng),存儲也以一般的磁盤陣列存儲為主。為了適應(yīng)安防信息整合,安防數(shù)據(jù)分析和信息挖掘的需求,安防系統(tǒng)逐步傾向于互聯(lián)、整合,而安防數(shù)據(jù)信息也逐漸的匯聚和集成,出現(xiàn)了萬兆網(wǎng)絡(luò)集中匯聚管理,并且以云存儲作為視頻圖像數(shù)據(jù)存儲平臺的趨勢。目前,云存儲已成為安防大數(shù)據(jù)的核心技術(shù),各廠商也在著力提升自己的研發(fā)能力。
與傳統(tǒng)的存儲設(shè)備相比,云存儲不僅僅是一個硬件,而是一個網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、接入網(wǎng)和客戶端程序等多個部分組成的復(fù)雜系統(tǒng)。云存儲可以提供類似于磁盤陣列的裸空間服務(wù),也可以提供基于存儲的特定服務(wù)。例如云存儲在平安城市系統(tǒng)中可為多個子系統(tǒng)提供存儲服務(wù),包括視頻監(jiān)控、卡口電警、圖像資源庫、圖偵分析研判等。其可完成日常視頻錄像資源、各個案件中所涉及的視頻和圖片等資源、卡口電警所產(chǎn)生的車輛抓拍圖片等資源的統(tǒng)一存儲。
從應(yīng)用架構(gòu)上看,云存儲系統(tǒng)與傳統(tǒng)分布式存儲系統(tǒng)差異并不明顯,其更本質(zhì)的區(qū)別其實(shí)體現(xiàn)在內(nèi)部軟件架構(gòu)上。云存儲系統(tǒng)采用大規(guī)模分布式并行文件系統(tǒng),以大量的服務(wù)器和存儲設(shè)備為基礎(chǔ),構(gòu)建一個大規(guī)模存儲集群,提供上百PB的存儲容量,并能夠在線進(jìn)行容量的擴(kuò)充,由此搭建的大容量存儲系統(tǒng)整體成本遠(yuǎn)低于傳統(tǒng)存儲架構(gòu),并且具有良好的可擴(kuò)充性和靈活性,并且維護(hù)簡單。
但是云存儲最大問題在于,一個是企業(yè)用戶更偏向?qū)⒅匾舾械男畔⒄莆赵谧约旱氖种?,也就是云存儲的私密性與安全性還不能得到認(rèn)可。另一方面也就是,通訊技術(shù)的限制,過長的等待時(shí)間與有限的帶寬常常是用戶不能忍受的。
智能存儲可以扭轉(zhuǎn)這一尷尬局面?
隨著視頻監(jiān)控?cái)?shù)字化的普及,存儲從監(jiān)控系統(tǒng)的邊緣化位置逐漸走向了中心和后端,在監(jiān)控系統(tǒng)中的比重也隨著高清化、集中化的提升而得以大幅提高。
在大數(shù)據(jù)時(shí)代,特別是在大型視頻監(jiān)控系統(tǒng)的存儲方案中,視頻內(nèi)容的數(shù)據(jù)量是海量的,而如何在海量數(shù)據(jù)中獲得有效內(nèi)容,只依靠人力不僅是困難的,更是成本高昂的。而海量視頻數(shù)據(jù)中的內(nèi)容的價(jià)值有時(shí)又是非常高的。因此有效地內(nèi)容檢索,即對存儲內(nèi)容的智能管理,成為視頻監(jiān)控市場的迫切需求。
1.何謂智能存儲?
智能存儲理念的提出者ADIC(美國先進(jìn)數(shù)字信息公司)對智能存儲的定義是:更加靈活、高效、可靠地保護(hù)、管理和訪問日益增長的關(guān)鍵業(yè)務(wù)數(shù)據(jù)。
智能存儲被公認(rèn)的核心概念是應(yīng)用程序和用戶透明,其中最大的優(yōu)勢在于保護(hù)的安全性、管理的易操作、I/O性能的高效。而實(shí)現(xiàn)上述三大主要目標(biāo)的途徑則在于存儲的集中化、數(shù)字化、系統(tǒng)化。其中視頻監(jiān)控的智能化存儲,本質(zhì)上則是基于內(nèi)容的智能化存儲。
2.智能存儲技術(shù)中的存儲管理
在內(nèi)容存儲的管理上,因?yàn)榇鎯橘|(zhì)的費(fèi)用成本不同,通過分級存儲管理技術(shù),在不同的存儲介質(zhì)上存儲不同類型的內(nèi)容既能提高有效數(shù)據(jù)的查詢效率,同時(shí)也大幅度降低存儲系統(tǒng)的設(shè)備成本。
智能分級存儲管理(HSM)是將高速、高容量的非在線存儲設(shè)備(如大容量磁帶庫)作為硬盤的下一級設(shè)備,然后將硬盤中常用的數(shù)據(jù)按指定的策略自動遷移到磁帶庫等二級大容量存儲設(shè)備上。當(dāng)需要使用這些數(shù)據(jù)時(shí),分級存儲系統(tǒng)會自動將這些數(shù)據(jù)從后級存儲設(shè)備調(diào)回到硬盤上。簡單地講,數(shù)據(jù)遷移是一種可以把大量不經(jīng)常訪問的“冷數(shù)據(jù)”存放在帶庫、盤庫等離線介質(zhì)上,只在RAID上保存少量“熱數(shù)據(jù)”的技術(shù)。當(dāng)那些被存放于磁帶等介質(zhì)上的數(shù)據(jù)被訪問時(shí),系統(tǒng)自動地把這些數(shù)據(jù)回遷到RAID中;同樣,RAID中很久未被訪問的數(shù)據(jù)被自動遷移到磁帶介質(zhì)上,從而大大降低投入和管理成本。
對于用戶來說,上述數(shù)據(jù)遷移操作是完全透明的。用戶可能會感到訪問硬盤的速度稍慢一點(diǎn),但會明顯感覺到其邏輯硬盤的容量大大提高。相對傳統(tǒng)的數(shù)據(jù)管理模式,采用這種技術(shù)的解決方案所具備的優(yōu)勢是顯而易見的。
3.智能存儲的關(guān)鍵是軟件
智能分級存儲管理技術(shù)是存儲智能化在內(nèi)容管理上的一項(xiàng)技術(shù),還有如存儲介質(zhì)的自動識別技術(shù)、讀寫記錄的自動監(jiān)控技術(shù)……在存儲系統(tǒng)的每個細(xì)節(jié)上增強(qiáng)用戶透明,就是智能存儲的要求。而如何實(shí)現(xiàn)這個目的,要在存儲協(xié)議的兼容與管理軟件的設(shè)計(jì)上充分考慮用戶對內(nèi)容的需求特點(diǎn)。
結(jié)語
目前安防行業(yè)已經(jīng)一只腳邁入了大數(shù)據(jù)時(shí)代,但是還沒有完全進(jìn)入。之所以這么說,是因?yàn)楫?dāng)前安防系統(tǒng)的數(shù)據(jù)量的確在不斷膨脹,高清視頻的出現(xiàn),安防系統(tǒng)聯(lián)網(wǎng)和整合的不斷推進(jìn),存儲技術(shù)和容量的提升,導(dǎo)致數(shù)據(jù)體量巨大,大數(shù)據(jù)的特征凸顯。這樣的安防系統(tǒng)注定將是一個大的數(shù)據(jù)集合體,但是,目前大量的視頻數(shù)據(jù)仍然是獨(dú)立的、零散的。視頻錄像數(shù)據(jù)散布在各個行業(yè)、單位獨(dú)立的系統(tǒng)中,沒有發(fā)揮達(dá)到真正的聯(lián)網(wǎng)、共享,業(yè)界也沒有形成對數(shù)據(jù)挖掘、利用的通用方法。所以行業(yè)內(nèi)必須對儲存技術(shù)進(jìn)行改進(jìn),最大可能的發(fā)揮海量數(shù)據(jù)的社會意義。