隨著高清時代的來臨,古老的存儲方式已經無法滿足高清需求了,越來越多的企業客戶視頻通信需求的爆炸性增長,再加上設備廠商的大力推動,視頻監控領域將會采用云存儲這個話題一時變得炙手可熱。以云計算、物聯網、移動互聯為代表的新一代信息技術已經成為戰略性新興產業,在十二五期間將得到國家戰略性支持和發展。
前言
在2010年中國國際社會公共安全產品博覽會上,面對不斷增長的安防存儲需求,作為國內領先的存儲廠商,UIT(創新科存儲技術有限公司)全面參會,以"網絡視頻監控存儲專家"為主題,全方位展示了集中存儲、分布存儲、云存儲及高清智能分析四大領域的多款視頻監控存儲產品和解決方案,幫助更多的安防用戶輕松步入安全世界。
視頻監控技術也在向著高清化、數字化、網絡化、智能化的方向發展。而畫面質量的提高、視頻線路的增加等諸多因素,都會令視頻監控系統的存儲容量成倍增長,存儲設備正在成為網絡視頻監控未來發展的決定性因素。在本次展會上,針對客戶的應用特點,UIT展示了建立在其統一存儲系統和應用存儲系統之上的大容量視頻監控存儲解決方案,以及創新的彈性云存儲解決方案和高清智能分析技術,全面引領了安防行業存儲應用新潮流。
廣泛應用信息化技術,推動傳統產業升級和優化也是經濟轉型的重點,而包括醫療改革,全民社保,教育改革等健全公共服務的過程中,信息技術和信息化應用也將扮演重要的角色。所以,在優化經濟結構和健全公共服務的過程中,信息產業和信息化應用都將起到關鍵性的主導作用。而在此過程中,我們的安防產業和信息化應用也將面臨前所未有的機遇和挑戰。
視頻監控圖像存儲的特點與要求
視頻圖像存儲具有占用空間巨大的特點
視頻監控系統的特點之一是圖像信息量巨大,需要的存儲容量相當可觀,要求具有足夠的存儲空間。系統存儲設備作為視頻監控系統的主要后端設備之一,應能將前端采集并壓縮后的數據通過各處的網絡進行集中或分散的存儲和管理,并滿足視頻監控海量存儲的需求。
由于存儲的圖像同時是整個城市視頻聯網監控系統的核心資源,因此選擇何種存儲機制和裝置相當關鍵,需要視具體要求及應用條件來確定。
網絡存儲設備因結合了磁盤、RAID、SCSI、文件系統、千兆以太網、存儲管理、存儲虛擬化、iSCSI、網絡通信等眾多關鍵技術,同時具備數據保護、磁盤熱插拔、風扇及電源冗余等可靠性要求,因此將會成為選擇的重點。
作為圖像數據和報警事件記錄的載體,存儲的重要性是不言而喻的,當前,存儲已不僅是一個設備而已,而是已經升華到了一個解決方案平臺的地步。大容量的存儲系統并不是存儲設備的簡單堆積,更需要解決存儲機制的完備性、存儲標準以及在時間(存儲數據處理速度)和空間(存儲容量)上的可使用性等問題,還有大容量存儲系統的可管理性要求。
硬盤錄像機錄像占用存儲容量與圖像質量、存儲攝像機圖像路數、錄像機圖像壓縮比(這又與壓縮采用的格式和圖像變化情況有關)。目前國內DVR多數采用的是簡化的H.264或MPEG4,圖像質量是CIF水平時,硬盤消耗率大約為100M/路?小時,16路硬盤錄像機1TB的硬盤大約能連續錄26天。以最基礎的百萬像素攝像機采集720P為標準,正常每小時錄像需要的大約硬盤容量為4G~8G/小時,出于經濟性考慮,降低每小時視頻錄像可壓縮到3GB左右容量。以此為例,按一個月保存時間計算,8路監控大約17T(17000G)容量左右。在同等的圖像質量,H.264的數據壓縮比能比當前DVD系統中使用的MPEG-2高2~3倍,比MPEG-4高1.5~2倍。
安防監控技術發展到今天經歷了三個階段:模擬化、數字化、網絡化。與之相適應,監控數據存儲也經歷了多個階段:VCR模擬數據存儲、DVR數字數據存儲,到現在的集中網絡存儲,以及近期出現的云存儲技術。
隨著視頻監控的網絡化的發展,需要存儲和管理的視頻數據量日益成為海量,網絡化存儲(NSA、SAN)、云存儲和虛擬信息中心等技術在安防監控行業的發展上有著巨大的應用前景。
視頻監控存儲的三大格局與六個方面的要求
監控存儲三格局
一、 前端存儲格局
所謂前端存儲,是在網絡視頻監控系統的前端設備(如網絡視頻編碼器或網絡攝像機)中內置存儲部件,由前端設備直接完成監控圖像的本地錄制和保存。
前端存儲具有幾個方面的優勢:一是可以通過分布式的存儲部署,來減輕集中存儲帶來的容量壓力;二是可以有效緩解集中存儲帶來的網絡流量壓力;三是可以避免集中存儲在網絡發生故障時的圖像丟失。對于前端存儲,由于單個前端編碼設備通常所帶監控點路數不多,存儲時間也不長,所以對存儲容量要求不高,網絡攝像機一般用CF卡或SD卡,視頻服務器一般用內置硬盤。這與以往單機存儲相比,基本沒有區別。
而與以往單機存儲本質上不同的是,為了保證用戶訪問的靈活性和便捷性,網絡視頻監控系統中的所有前端存儲除了要能夠提供點對點的單機訪問外,還要能夠通過一個統一的接口提供所有內容的集中共享。為此,網絡視頻監控系統通過中心業務平臺對所有前端存儲進行統一管理和調度,并實現存儲空間和存儲內容的網絡化。這樣,用戶既可以直接登錄單個前端設備進行錄像資料的點播回放,也可以統一登錄中心業務平臺進行所有前端錄像資料的集中檢索和回放。
二、 中心存儲格局
在網絡視頻監控系統中,部署得更多的是中心存儲。前端設備采集監控點圖像并編碼壓縮處理成數字監控碼流,然后通過網絡傳送到中心業務平臺,由中心業務平臺將碼流分發給網絡錄像單元進行集中存儲。在很多大型的視頻監控聯網應用中,也可采用多級分布的中心存儲方式,即分中心存儲,這樣一方面可以降低一個中心點集中存儲帶來的存儲容量和網絡流量的壓力,一方面可以大幅度提升系統的可靠性。 使用中心/分中心存儲,在以下幾個方面具有明顯優勢:一是對于用戶而言,檢索和調用錄像資源更為方便;二是存儲內容的完整性更容易保證,不會因為某個前端設備失竊或損壞而導致重要內容的丟失;三是可以合理的進行資源調度,為前端設備按需分配存儲空間,從而節約資源;四是有利于制定多樣化的存儲策略,以滿足用戶的個性化需求;五是維護方便,便于集中檢測和及時排查問題。
對于監控點路數比較少、存儲時間要求不長的應用場合,中心/分中心存儲可以采用服務器插硬盤或外接磁盤柜這種比較簡單的方式進行部署,稱為DAS(直接訪問存儲),與單機類似。而隨著網絡視頻監控的優勢被廣泛認可,現在開始出現越來越多的大型甚至超大型視頻監控系統,比如“平安城市”建設中的社會面治安監控系統、中國電信和中國網通正在全面推進的“全球眼”和“寬視界”這兩大運營級視頻監控系統,這些監控系統都面臨著前端設備的大規模接入和大容量集中存儲的需求。以往的單機存儲方式無法滿足這些系統在容量靈活擴展方面的應用需求,必須采用更為先進的網絡存儲設備和存儲技術,其中典型的就是SAN、NAS以及iSCSI。
SAN(存儲區域網)起源于上世紀九十年代中后期,與DAS不同,SAN基于光纖通道技術,服務器和存儲陣列之間通過光纖通道交換機連接,形成專用于數據存儲的區域網絡。SAN采用了面向網絡的存儲結構,數據處理和數據存儲分離,具有存儲空間易于擴展、尋址靈活、可遠距離傳輸數據、I/O性能高、存儲設備利用率高等特點,是一種全新的存儲體系結構。
與SAN基于專門的光纖通道協議不同,NAS(網絡訪問存儲)基于IP網絡實現服務器和存儲陣列的互聯,使用TCP/IP協議進行通信,以文件級的I/O方式進行數據傳輸。相比之下,NAS設備的安裝、調試、使用和管理更簡單,部署成本也相對較低。
iSCSI是IETF一種新的標準協議,即透過IP網絡,將SCSI區塊數據轉換成網絡封包的一種傳輸標準,它和NAS一樣透過IP網絡來傳輸數據,但在數據存取方式上,則采用與NAS不同的,而與SAN相同的BlockProtocol協議。由此,iSCSI給用戶帶來的價值在于:第一,iSCSI使SCSI數據包在以太網中傳輸成為可能,使SAN擺脫了昂貴的光纖網絡,通過IP網絡即可實現原先的功能,既降低了管理復雜度又降低了成本;第二,由于用戶應用需求的復雜性,往往會同時部署SAN和NAS兩種存儲網絡,而iSCSI則可以將兩者融合起來。iSCSI的這些特點非常契合現在的視頻監控發展的現狀和方向,特別是在運營級視頻監控領域,存儲的規模大、投入高,基于目前成熟的IP網絡進行中心/分中心存儲系統的構建,iSCSI技術無疑是一個很好的參考。
三、 應用存儲格局
視頻監控系統常采用的存儲網絡架構有DAS、NAS、SAN和IP-SAN,常采用的存儲設備類型有SCSI盤陣、FC和iSCSI設備。這些設備技術成熟、結構簡單、安裝實施也非常方便。然而這些設備都具有一個共同的缺點,就是存儲設備在視頻監控系統中只能起到一個簡單的數據存儲功能,無法替代服務器來運行特定的應用軟件,視頻監控系統中仍然需要大量專用服務器。實際上,隨著芯片技術的快速發展,CPU或專用ASIC芯片的運算及處理速度成倍提高,而存儲設備的整體價格卻在不斷降低。在設備選型及購買時,出于設備更新換代方面的考慮,用戶一般會選擇稍高一級別的存儲設備。再者,當投資充裕時價格差別對用戶影響也比較小。因而在很多的應用系統中,用戶采購的存儲設備性能往往高出實際業務系統真實需求很多,甚至超出好幾倍。
在一些中小視頻監控系統中,系統中的性能瓶頸經常會出現在視頻服務器而不是存儲設備端,存儲設備所能提供的帶寬往往是視頻監控實際總帶寬的兩倍或三倍,IOPS也是實際需求的3~5倍。存儲設備控制器長時間處于半負荷工作狀態,大量的高性能資源被浪費。為保障高可用性、高效性、穩定性和安全性,存儲設備的控制器部分一般都是專門設計的,并采用專用的處理器和緩存,其各項技術參數和性能均高于普通PC服務器。為了有效地利用存儲的富余資源,可在存儲設備控制器部分內嵌特殊功能的應用軟件,存儲設備不僅為系統提供數據存儲服務器,還能提供一定的軟件應用服務器,這種存儲設備就稱為應用存儲。
監控存儲六個方面的要求
數字化視頻監控涉及到巨量數據的采集、存儲和使用。因此,一個高效能的視頻監控系統必須具備高效能的數據存儲系統,這關系著數據管理的效率、數據安全以及數據利用的效率。那么,在電信級別的數字化監控系統中,對于數據存儲系統的要求,一般說來,要滿足六個方面的要求。電信級數字監控系統的重要特點之一是大量集中的數據存儲和分散化的前端應用。因此,存儲系統必須具有較強的數據傳輸能力,否則將會影響數據存儲和利用的效率。 海量數據存儲需求和快速的增長變化的特點,要求存儲系統在必須能夠滿足電信級別數據監控的海量存儲要求外,同時又必須具備良好的擴展性能,應對數據量飛速增長對于存儲空間擴大的需求。
另外,由于監控系統一般要求實時的錄像輸入,所以這種實時錄像輸入對盤陣的數據寫能力提出了較高的要求,否則在寫速度達不到要求的情況下,數據大量集中在緩存中,最終將會導致緩存數據溢出以致主機死機。目前監控錄像需要在間隔一段時間后對數據進行刪除,在數據刪除后,會有一定時間的間隔,數據不能立即寫入,這時候數據都是保存在緩存里,較大的緩存可以保證更多的數據滯留在緩存中,等待向硬盤空間的重新寫入。除此以外,對于電信級別系統而言,良好的穩定性是必需的,如果缺乏穩定性,則會給眾多用戶帶來巨大困擾,甚至帶來巨大的損失。
電信級龐大的存儲需求決定了對存儲良好管理性的要求。簡單有序的管理性可以幫助用戶降低運營維護的成本,同時也是系統穩定性的重要保障。
監控存儲六點技術
1、 能夠滿足電信級別數據監控的海量存儲要求;
2、 大量集中的數據存儲和分散化的前端應用,存儲系統必須具有較強的數據傳輸能力;
3、必須具備良好的擴展性能,應對數據量飛速增長對于存儲空間擴大的需求;
4、對盤陣的數據寫能力提出了較高的要求;
5、較大的緩存可以保證更多的數據滯留在緩存中,等待向硬盤空間的重新寫入;
6、良好的穩定性是必需的。
云計算與云存儲簡介及其發展歷程
云存儲是在云計算(cloud computing)概念上延伸和發展出來的一個新的概念,是指通過集群應用、網格技術或分布式文件系統等功能,將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協同工作,共同對外提供數據存儲和業務訪問功能的一個系統。云存儲對使用者來講,不是指某一個具體的設備,而是指一個由許許多多個存儲設備和服務器所構成的集合體。使用者使用云存儲,并不是使用某一個存儲設備,而是使用整個云存儲系統帶來的一種數據訪問服務。所以嚴格來講,云存儲不是存儲,而是一種服務。云存儲的核心是應用軟件與存儲設備相結合,通過應用軟件來實現存儲設備向存儲服務的轉變。與傳統的存儲設備相比,云存儲不僅僅是一個硬件,而是一個網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網、和客戶端程序等多個部分組成的復雜系統。各部分以存儲設備為核心,通過應用軟件來對外提供數據存儲和業務訪問服務。
云存儲不僅僅是存儲,更多的是應用。應用存儲是一種在存儲設備中集成了應用軟件功能的存儲設備,它不僅具有數據存儲功能,還具有應用軟件功能,可以看作是服務器和存儲設備的集合體。應用存儲技術的發展可以大量減少云存儲中服務器的數量,從而降低系統建設成本,減少系統中由服務器造成單點故障和性能瓶頸,減少數據傳輸環節,提供系統性能和效率,保證整個系統的高效穩定運行。
技術趨勢
IDC研究表明,從2006年到2010年,全球信息總量將增長6倍以上,從161EB增加到988EB(1EB=1024PB)。一些新推出的磁盤陣列中已經普遍采用了750GB或1TB的SATA硬盤。目前已知存儲密度最高的磁盤陣列可以在4U空間內提供高達42TB的存儲容量,這在以前是根本無法想像的。最新一代LTO-4磁帶的單盒磁帶存儲容量也達到了1.6TB(壓縮比為2∶1)。技術的不斷進步必將推動存儲向更高容量發展,而重復數據刪除、壓縮等技術的引入,可以進一步提升存儲空間的利用率。從性能方面看,FC磁盤陣列已經逐步過渡到4Gb時代,而8Gb FC又在向數據中心用戶招手;萬兆IP存儲不再是紙上談兵;在InfiniBand領域,已經有廠商推出了40Gb InfiniBand適配器產品。