近年來,隨著海量視頻信息的快速增長,傳統的安防技術越來越難以滿足部分行業在傳輸、存儲及大數據計算分析上的需要,或者說很難以更低的成本、更靈活的擴展性、更健壯更可靠更安全的系統架構來滿足這些需要。因此,云計算的概念這兩年開始越來越多的滲透到安防領域。其中,云存儲取得的突破性應用尤為引人注目。本文將主要就云存儲在安防領域的應用展開分析。
網絡化技術的普及,使得視頻資源的聯網共享成為很多行業日益迫切的需求,現有分散的視頻資源正在朝著大集中的方向推進;平安城市、智能交通等大行業市場通過點、線、面的密集覆蓋,每時每刻都在增加新的視頻源;720P,1080P,4K,更高的視頻分辨率意味更大的視頻信息量……
這些不斷增長的視頻數據在帶來海量視頻存儲需求的同時,也對當前的視頻存儲技術提出了一系列新的挑戰:如何實現存儲容量的平滑擴展?如何有效的降低由此帶來的存儲成本?如何更可靠地保存、更安全地使用和更便捷地分享這些數據?如何解決越來越龐大的系統給維護管理帶來的困擾?
答案就在云存儲。
云存儲的定義
云存儲是在云計算概念上衍生和發展出來的一種技術或服務。將網絡中各類存儲設備匯集在云計算系統當中,通過云計算的概念組織起來協同工作,對外提供數據存儲和業務訪問的功能以及與存儲相關的增值應用,即稱為云存儲。
云存儲和云計算都是云架構的技術實現,任何應用都需要一個計算模型、一個存儲模型和一個通信模型。云計算中,為了實現資源的彈性利用以及給用戶造成資源無限的假象,必須實現資源的復用。云存儲也是一樣,它通過虛擬化和精簡配置技術,讓資源的效益最大化。
與傳統的存儲設備相比,云存儲不僅僅是一個硬件,而是一個網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網和客戶端程序等多個部分組成的復雜系統。各部分以存儲設備為核心,通過應用軟件來對外提供數據存儲和業務訪問服務。
云存儲對外提供的是與存儲相關的服務。云存儲可以提供類似于磁盤陣列的裸空間服務,也可以提供基于存儲的特定服務。
云存儲的系統架構
要了解云存儲的系統架構,需要先了解其應用架構。我們以平安城市為例來看云存儲的應用架構。在平安城市中,云存儲可為多個系統提供存儲服務,包括視頻監控、卡口電警、圖像資源庫、圖偵分析研判等。其可完成日常視頻錄像資源、各個案件中所涉及的視頻和圖片等資源、卡口電警所產生的車輛抓拍圖片等資源的統一存儲。
從應用架構上看,云存儲系統與傳統分布式存儲系統差異并不明顯,其更本質的區別其實體現在內部軟件架構上。
云存儲系統采用大規模分布式并行文件系統,以大量的服務器和存儲設備為基礎,構建一個大規模存儲集群,提供上百PB的存儲容量,并能夠在線進行容量的擴充,由此搭建的大容量存儲系統整體成本遠低于傳統存儲架構,并且具有良好的可擴充性和靈活性。
云存儲系統通過元數據和存儲數據分離的非對稱式架構,通過負載均衡和數據并發訪問策略,在普通硬件條件下獲得高達數十Gbps的傳輸速率以及上百PB級的存儲容量,并可根據用戶應用發展的趨勢,適時按需進行在線動態擴展。與單機的文件系統不同,分布式文件系統不是將這些數據放在一塊磁盤上由上層操作系統來管理,而是存放在一個服務器集群上,由集群中的服務器,各盡其責,通力合作,提供整個文件系統的服務。
云存儲系統內置了基于對象數據管理策略,能夠保證在系統局部發生故障時數據的安全性和可靠性,徹底消除存儲系統中的單點故障,結合自動故障探測和快速故障恢復技術,確保用戶的應用持續穩定地運行,同時減少部署和管理的難度。
更直觀的理解,云存儲系統本身也是構建在通用磁盤陣列之上的,它通過通過操作系統的API管理磁盤上的數據,只不過這樣一個系統在邏輯上可以分為元數據節點(控制節點)、數據節點(存儲節點)、管理節點以及客戶端四個部分,這四個部分分別對應了上面提到的云存儲的4層結構模型:
1)元數據節點(控制節點)
元數據節點即控制節點,用于記錄所存儲的文件的各種屬性,相當于整個文件系統的大腦,管理各個數據節點,收集數據節點信息,了解所有數據節點的現狀,然后給它們分配任務,協調指示各數據節點為系統服務;
2)數據節點(存儲節點)
數據節點即存儲節點,用于管理磁盤和卷和存儲用戶的文件數據,是整個存儲系統的存儲資源提供者,它同時還負責集群構建,包括節點管理和數據分片,并承擔數據冗余保護和對數據訪問的負載均衡;
3)管理節點
管理節點統一管理云存儲系統中的集群節點、文件、日志、告警、網關等,同時提供日志管理、性能監控、配置管理、故障管理等能力,方便系統管理維護人員管理云存儲系統;
4)客戶端
客戶端在一個獨立的進程中提供服務,為用戶提供文件讀寫、目錄操作等APIs,當用戶需要使用分布式文件系統進行文件讀寫的時候,將客戶端安裝至需使用系統的服務器,即可使用系統提供的服務。
在科達云存儲系統中采用三臺元數據節點,起到對元數據的重要保護(冗余)和負載均衡的作用(提升系統性能)。數據節點定期向元數據節點匯報其狀況,等待并處理命令,實現數據高效、安全讀寫。在系統中,數據切片的大小可以調整,以滿足不同客戶對數據文件存儲策略的設定要求,同時采用完全鏡像副本保護數據文件。
云存儲與傳統存儲系統的對比優勢
與傳統存儲相比,云存儲具備以下幾個方面的顯著優勢:
1)存儲容量的彈性擴展
傳統存儲設備最大容量有限,當達到一定擴展能力就很難再擴展,同時存儲性能、安全性、可靠性和經濟性都大大降低。云存儲能夠通過集群很容易獲得PB級存儲容量,存儲擴展沒有限制,可隨時隨地在線增加存儲節點來滿足存儲容量需求,并且能夠做到“增加存儲節點,數據自動重組,減少存儲節點,數據自動恢復”的彈性和可伸縮性。
2)高并發讀寫性能
傳統存儲設備的并發讀寫性能容易受到NAS機頭、CPU或控制器的能力限制,而云存儲系統采用控制與數據分離的架構,脫離了單臺設備的能力束縛,整個系統的性能主要受網絡吞吐能力的限制。云存儲技術可將存儲節點的帶寬聚合,隨著存儲節點的增加可以實現帶寬的線性增長,理論上帶寬是無限的。同時在云存儲系統中數據文件是拆分成數據塊進行條帶化存儲在多臺物理存儲節點上的,能夠最快速的并發訪問數據。另外云存儲中數據存儲是采用多副本策略存儲的,可以實現熱點數據的負載均衡訪問。
3)可維護性
云存儲系統采用數據冗余存儲機制,硬盤或存儲節點損壞時,其余節點可自動重組,數據不丟失,系統運行不受影響。這一點大大提升了海量存儲節點的可維護性。當前來看,最直觀、最能夠體現云存儲優勢的就是可維護性。以科達云存儲系統為例:傳統的存儲設備,通常用RAID方式進行冗余備份,當有硬盤損壞時,RAID重構時間通常要十幾個小時,這期間如果再有硬盤壞掉,數據就無法恢復了,所以維護人員需要在第一時間趕到現場更換硬盤,7×24小時待命;科達云存儲采用分布式文件系統,數據的存儲和備份不再依賴單臺設備的能力,有硬盤壞掉時,其余的硬盤將自動進行重構,恢復受損的數據,這只需要十幾分鐘的時間,維護人員只需要定期檢查硬盤的損壞情況,并更換新硬盤即可,維護非常簡單。
4)安全性、可靠性
傳統存儲設備提供的是一個透明的存儲空間,原始數據直接存在存儲設備上的,數據可以直接訪問和使用,并不具有信息安全和私密性。云存儲中的數據傳輸是加密的,首先用戶并不知道數據存在哪個物理硬盤上,而且數據在存儲設備上是按文件塊存儲的無法直接進行訪問。用戶存儲的數據只有自己有權限進行訪問和管理,系統管理員也無法讀取。
5)資源共享性
傳統存??設備一般是以單一形式工作,無法做到多臺設備之間的容量和帶寬聚合。而云存儲集群文件系統,不受限于硬件存儲節點的數量,可靈活的進行統一管理和共享。云存儲可以把一個存儲池共享給多個用戶進行訪問,傳統存儲受限于容量和帶寬的性能是無法做到的。云存儲提供全局統一命名空間,提供示準的文件訪問接口,支持主流的文件傳輸協議,同時支持API接口可于應用程序更完美的結合,實現最佳訪問效率。
6)總擁有成本低
云存儲系統采用高性價比的以太網絡和存儲節點構成,比傳統的中高端存儲設備具有更好的性價比優勢。云存儲擴容相對比較靈活,可根據業務隨時隨地的進行彈性擴展,用戶不需要在前期一次性購入,需要時可在線進行性能和容量的擴展,從而能夠保護用戶的前期投資。更重要的是,云存儲通過前面提到的可維護性,可以在管理維護上大大節省用戶的總擁有成本(TCO)。
結束語
視頻圖像的存儲特點是對實時的存取性能要求較高,而云存儲的系統架構決定了它能夠以較低的總擁有成本很好的滿足海量高清或標清視頻的并發寫入、讀取,并能實現快速配置和即插即用。
因此,雖然短期來看,云存儲的需求當前主要還將集中在平安城市、智能交通等大行業市場以及基于公有云架構的民用市場,但相信未來隨著網絡化更全面普及和海量視頻共享需求的更快速增長,其應用前景將更加廣闊。