近年來,隨著海量視頻信息的快速增長,傳統的安防技術越來越難以滿足部分行業在傳輸、存儲及大數據計算分析上的需要,或者說很難以更低的成本、更靈活的擴展性、更健壯更可靠更安全的系統架構來滿足這些需要。因此,云計算的概念這兩年開始越來越多的滲透到安防領域。其中,云存儲取得的突破性應用尤為引人注目。本文將主要就云存儲在安防領域的應用展開分析。
網絡化技術的普及,使得視頻資源的聯網共享成為很多行業日益迫切的需求,現有分散的視頻資源正在朝著大集中的方向推進;平安城市、智能交通等大行業市場通過點、線、面的密集覆蓋,每時每刻都在增加新的視頻源;720P,1080P,4K,更高的視頻分辨率意味更大的視頻信息量……
這些不斷增長的視頻數據在帶來海量視頻存儲需求的同時,也對當前的視頻存儲技術提出了一系列新的挑戰:如何實現存儲容量的平滑擴展?如何有效的降低由此帶來的存儲成本?如何更可靠地保存、更安全地使用和更便捷地分享這些數據?如何解決越來越龐大的系統給維護管理帶來的困擾?
答案就在云存儲。
云存儲的定義
云存儲是在云計算概念上衍生和發展出來的一種技術或服務。將網絡中各類存儲設備匯集在云計算系統當中,通過云計算的概念組織起來協同工作,對外提供數據存儲和業務訪問的功能以及與存儲相關的增值應用,即稱為云存儲。
云存儲和云計算都是云架構的技術實現,任何應用都需要一個計算模型、一個存儲模型和一個通信模型。云計算中,為了實現資源的彈性利用以及給用戶造成資源無限的假象,必須實現資源的復用。云存儲也是一樣,它通過虛擬化和精簡配置技術,讓資源的效益最大化。
與傳統的存儲設備相比,云存儲不僅僅是一個硬件,而是一個網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網和客戶端程序等多個部分組成的復雜系統。各部分以存儲設備為核心,通過應用軟件來對外提供數據存儲和業務訪問服務。
云存儲對外提供的是與存儲相關的服務。云存儲可以提供類似于磁盤陣列的裸空間服務,也可以提供基于存儲的特定服務。
云存儲的系統架構
要了解云存儲的系統架構,需要先了解其應用架構。我們以平安城市為例來看云存儲的應用架構。在平安城市中,云存儲可為多個系統提供存儲服務,包括視頻監控、卡口電警、圖像資源庫、圖偵分析研判等。其可完成日常視頻錄像資源、各個案件中所涉及的視頻和圖片等資源、卡口電警所產生的車輛抓拍圖片等資源的統一存儲。
從應用架構上看,云存儲系統與傳統分布式存儲系統差異并不明顯,其更本質的區別其實體現在內部軟件架構上。
云存儲系統采用大規模分布式并行文件系統,以大量的服務器和存儲設備為基礎,構建一個大規模存儲集群,提供上百PB的存儲容量,并能夠在線進行容量的擴充,由此搭建的大容量存儲系統整體成本遠低于傳統存儲架構,并且具有良好的可擴充性和靈活性。
云存儲系統通過元數據和存儲數據分離的非對稱式架構,通過負載均衡和數據并發訪問策略,在普通硬件條件下獲得高達數十Gbps的傳輸速率以及上百PB級的存儲容量,并可根據用戶應用發展的趨勢,適時按需進行在線動態擴展。與單機的文件系統不同,分布式文件系統不是將這些數據放在一塊磁盤上由上層操作系統來管理,而是存放在一個服務器集群上,由集群中的服務器,各盡其責,通力合作,提供整個文件系統的服務。
云存儲系統內置了基于對象數據管理策略,能夠保證在系統局部發生故障時數據的安全性和可靠性,徹底消除存儲系統中的單點故障,結合自動故障探測和快速故障恢復技術,確保用戶的應用持續穩定地運行,同時減少部署和管理的難度。
更直觀的理解,云存儲系統本身也是構建在通用磁盤陣列之上的,它通過通過操作系統的API管理磁盤上的數據,只不過這樣一個系統在邏輯上可以分為元數據節點(控制節點)、數據節點(存儲節點)、管理節點以及客戶端四個部分,這四個部分分別對應了上面提到的云存儲的4層結構模型:
1)元數據節點(控制節點)
元數據節點即控制節點,用于記錄所存儲的文件的各種屬性,相當于整個文件系統的大腦,管理各個數據節點,收集數據節點信息,了解所有數據節點的現狀,然后給它們分配任務,協調指示各數據節點為系統服務;
2)數據節點(存儲節點)
數據節點即存儲節點,用于管理磁盤和卷和存儲用戶的文件數據,是整個存儲系統的存儲資源提供者,它同時還負責集群構建,包括節點管理和數據分片,并承擔數據冗余保護和對數據訪問的負載均衡;
3)管理節點
管理節點統一管理云存儲系統中的集群節點、文件、日志、告警、網關等,同時提供日志管理、性能監控、配置管理、故障管理等能力,方便系統管理維護人員管理云存儲系統;
4)客戶端
客戶端在一個獨立的進程中提供服務,為用戶提供文件讀寫、目錄操作等APIs,當用戶需要使用分布式文件系統進行文件讀寫的時候,將客戶端安裝至需使用系統的服務器,即可使用系統提供的服務。