隨著安防IT化趨勢的演進,作為安防重要組成部分的視頻監控系統的數字化比例越來越高。同時,網絡設備生產商、視頻監控存儲設備生產商、數字化編解碼器生產商的介入,則促成了構成視頻監控系統的各組成部分(采集、編碼、傳輸、存儲)正在向“智能化、網格化、IP化”的方向發展。
應該說,網絡監控的誕生解決了傳統監控效果的難題,改變了傳統的連接方式,更簡單更便捷,但同時衍生了更龐大的存儲需求和更高的帶寬滿足。對于視頻監控的數據來說,由于網絡視頻監控是基于網絡的音視頻流傳輸,在大量音視頻流傳輸的情況下會對視頻監控管理服務器的性能產生很大影響,數據越多,視頻監控管理服務器對I/O操作的調度和緩存的管理就變得越復雜,往往會出現多臺攝像頭對單臺服務器,多臺服務器對一臺后端存儲設備的情況,對存儲設備的頻繁訪問以及多個攝像頭多個服務器的存儲需求,需要占用大量的資源,影響了其處理能力。
據安防業界一項調查顯示,曾占據安防主流市場的DVR硬盤存儲目前的市場份額已退減至45%,傳統的IT存儲方式(包括DAS存儲、NAS存儲、SAN存儲)與其平分天下,也占據了市場份額的45%。
高清監控對數據存儲的要求
然而,隨著高清監控的發展,前端圖像質量的大幅度提升也導致了后端存儲的監控數據有了突飛猛進的增長。以720P高清攝像機為例,其每小時視頻錄像數據可壓縮到3GB左右容量,一般的監控系統路上都是幾十路甚至上百路,按照有關規定,監控錄像需保存一個月(30天),假設某監控系統為100路,則可計算得知:
3GB/小時*24小時*30天*100路= 216,000GB
也就是說,一個上百路的高清視頻監控系統所需的最少容量為216TB,考慮到全局數據冗余度、未來數據膨脹,以及數據自動恢復等,系統設計至少需要220TB的存儲空間。
除了大容量之外,視頻監控存儲系統還有著以下的要求:
視頻采集過程中,視頻文件格式一般都不會發生變化,且碼率保持恒定,視頻圖像的幀率一般為25幀/S,也就是說在存儲的讀寫操作中,必須保證存儲的高帶寬,否則圖像采集或回放就會出現丟幀現象,因此視頻監控系統對存儲系統在高并發IO的情況下不僅要求在高并發IO的情況下帶寬大,還要求帶寬穩定。
數據讀寫操作的持續時間長。由于攝像頭一般都是7*24小時工作的,所以數據寫入操作的持續時間也是7*24小時不間斷的,后期回放時也需要在7*24小時內都能夠及時獲取數據。因此要求存儲系統在硬盤損壞,甚至存儲某些節點宕機的情況下,能夠保持7*24小時不間斷穩定運行。
視頻監控系統一般具有攝像頭路數多,視頻圖像存儲時間長,因此存儲容量需求巨大,且隨著圖像存儲時間的增加,存儲容量需求呈線性的、爆炸性的增長。因此視頻監控系統存儲必須支持大容量,且容量具有高擴展性,滿足長時間大容量視頻圖像存儲的需求。
傳統IT存儲架構的不足和缺陷
高清視頻監控存儲系統需要具有海量數據高效管理、高效檢索、高可靠性等一系列的要求,不過傳統的IT存儲方式(包括DAS存儲、NAS存儲、SAN存儲)在這些方面似乎有著各項不能勝任的理由:
DAS:該方案利用HBA卡直接連接應用服務器和光纖盤陣,不提供數據共享能力。如果多個應用需要共用同一份數據,往往要花費大量的時間進行數據遷移,結果導致環境中存在多份相同的數據,并且多份數據之間的同步困難,浪費了大量的人力物力。
SAN:該方案利用存儲光纖網絡連接應用服務器和光纖盤陣,相比DAS 更具靈活性和可擴展性。但是SAN仍然不具備數據共享能力,而且由于SAN系統高昂的價格,以及不同廠商之間的設備兼容性問題,限制了在HPC領域的使用。
NAS:提供NFS或者CIFS 協議訪問的NAS 系統能夠給應用服務器提供統一的文件系統映象,滿足多臺應用服務器之間共享數據的需求。但是由于傳統NAS 往往通過單臺服務器的形式提供文件級的存儲空間,其有限的IO帶寬和可擴展性都難以滿足HPC 系統大量的并發讀寫需求。而且NAS對文件系統鎖的支持較差,多臺客戶端不能同時讀寫同一文件,導致客戶端之間不能夠很好的協同工作。
SAN+NAS:該方案一定程度上具備了SAN 的可擴展能力和NAS的數據共享能力,但仍然存在明顯的缺陷。應用所有的數據I/O都必須通過單個NAS服務器進行,使得整套系統的I/O 帶寬受限于NAS服務器的帶寬,仍舊難以滿足HPC環境的需求。
集群存儲高清監控存儲的曙光?
面對如此情況,盡管眾人把希望寄托在云存儲身上,然而,云計算落地時間尚早,云存儲的應用到戶時間還有待商榷,視頻監控用戶該如何實現大數據量的高清監控數據的存儲呢?集群存儲似乎成為存儲廠商解決視頻監控系統大容量、高穩定性的答案。
先來解釋一下集群存儲的概念。所謂集群存儲是指將多臺存儲設備中的存儲空間聚合成一個能夠給應用服務器提供統一訪問接口和管理界面的存儲池,應用可以通過該訪問接口透明地訪問和利用所有存儲設備上的磁盤,可以充分發揮存儲設備的性能和磁盤利用率。數據將會按照一定的規則從多臺存儲設備上存儲和讀取,以獲得更高的并發訪問性能。
集群存儲的優勢主要體現在提高并行或分區I/O的整體性能,特別是工作流、讀密集型以及大型文件的訪問,通過采用更低成本的服務器來降低整體成本。
2008年10月,某企業在中影集團機房內利用相同的硬件環境對集群存儲架構與傳統存儲架構分別做了性能測試,用iozone工具測試存儲架構的并發IO性能。
結果顯示,集群存儲架構與傳統存儲架構相比較,并發寫性能高約30%,并發讀性能高約10%。
傳統類型的存儲架構,每1TB硬盤的I/O平均讀寫速度最高能達到15-20MB/s,以60TB為例,整個存儲架構的I/0并發讀寫速度僅能達到0.9-1.5GB/s,無法滿足高并發性的要求;而CZSS存儲系統打破了傳統意義上的以硬盤為單位的I/O讀寫速度的瓶頸,采用了高效的文件管理機制,以節點為整個系統I/O讀寫的計算單位,同樣60TB,CZSS系統大約需要10個節點(10臺存儲單元),每個節點的讀寫速度為300MB/s以上,故并發讀寫速度可達到3GB/s以上,極大地滿足了用戶對于系統高并發性的要求。
而且在傳統存儲測試過程中在做并發讀寫的時候,在客戶端無法對傳統存儲系統掛載目錄進行ls(查看目錄中的文件)操作,即傳統存儲系統在有負載的情況下無法查看其中的數據,這樣使得在系統在有任務時,就無法取出存儲在傳統存儲架構中的結果數據。這種現象說明傳統存儲架構的元數據處理能力很低,在有大量文件的情況下會導致系統無法提供服務。
傳統存儲架構的軟件在客戶端請求數較多時,元數據類操作將失去響應。此時所有的客戶端將無法執行打開文件夾、查詢文件類的操作,這樣,所有的桌面客戶端都將失去響應,制作工作將完全無法進行。而CZSS的存儲軟件沒有這個問題。在同等硬件條件下,集群系統軟件的IO帶寬比傳統存儲架構軟件要高出30%。投資成本降低了40%以上。
結語
目前來說,國內安防市場的發展主要是由一些政府主導的項目在推動,比如平安城市建設,交通監控系統建設等,這些安防系統都有著多路數、高圖像質量的要求,同時要求系統具有實時處理信息的能力,由此帶來的大數據量存儲的問題不可避免。
安防行業從模擬時代過渡到數字時代,監控存儲架構從DVR到NAS和SAN的過渡,應該說這是一個時代的進步。隨著高清監控的到來,當傳統IT存儲架構也無法滿足高清監控存儲的要求時,集群存儲對安防行業來說,這一新的存儲方式能否被我們接受呢?真金不怕火煉,我們只能說,對于任何新事物,用戶接受都需要一定的時間和過渡期。