云存儲,早已不是一個新鮮的詞。隨著平安城市等大型安防項目數量的日益增多,規模的日益龐大,云存儲迅速從一個概念詞匯,蛻變成一個又一個成熟的產品。環顧四周,業內主流安防廠商都已把云存儲作為公司的重點產品,作為未來大型監控項目中的存儲解決之道。
我們為什么需要云存儲?
近年來,在網絡化,高清化浪潮的席卷下,NVR存儲,NAS存儲,SAN存儲成為當前安防視頻監控行業的主流視頻存儲方案。其中,對于大中型視頻監控系統而言,以iSCSI存儲為主的SAN存儲方案因技術成熟、存儲效率高、部署靈活成為長期的熱門選擇。
然而,SAN存儲終究到了瓶頸:D1、CIP早已是昨日黃花,720P、1080P已是市場主流,4K,甚至8K一躍成為新秀;單純圖像存儲已是過去式,各類視頻分析技術帶來的結構化、半結構化數據,都在存儲系統上叫囂著一席之地。視頻監控大聯網、高清甚至超清化、智能分析的聯合推動,促使視頻監控系統的監控點數越來越多、視頻碼流越來越大,存儲時間則要求保持不變甚至更長。相較于數字標清時代,一個視頻監控系統要求上千TB的存儲空間已不再是個例,容量的最佳單位從“TB”變為了“PB”。
存儲容量要達到PB,用傳統方法也可以實現,這就出現了通過部署更多的視頻存儲服務器(或模塊)、視頻轉發服務器(或模塊),獲取更多流媒體數據存儲和轉發能力,從而實現系統業務容量擴展,IPSAN存儲空間也伴隨服務器(或模塊)數量的擴展而不斷增加的方法??梢哉f,IPSAN的擴容能力主要受制于存儲業務服務器(或模塊),從理論上來講,只要存儲業務服務器(或模塊)數目足夠多、能力足夠大,IPSAN存儲總能隨之擴展。
因此,從業務能力上看,IPSAN存儲似乎能夠滿足大中型視頻監控系統對存儲增長的需求。然而,隨著存儲陣列數量的增加,高清視頻碼流的增大,讀寫業務的增多,IPSAN存儲系統的非功能性問題也逐步暴露出來,主要有如下4點:
1、存儲設備的管理和維護越來越困難
在IPSAN存儲系統中,存儲設備之間相互獨立,運維人員需要針對單臺設備進行維護和管理。同時,由于其中的硬盤屬于消耗品,長時間的高碼率并發讀寫,硬盤故障率也逐步升高。為保證錄像不被損壞丟失,必須對設備進行密切的狀態監控并隨時更換損壞的硬盤。面對幾十臺規模的存儲設備,維護起來已經相當不容易,如果數量達到上百臺,維護的工作量就不是一件簡單的事情了。
2、數據存儲的可靠性越來越難保證
IPSAN存儲設備對數據的保護依賴于本機磁盤組的Raid技術。業界一般采用Raid5,能允許1塊硬盤損壞,但如果同時有2塊硬盤損壞,這個Raid組的數據就會丟失。所以,如果出現硬盤損壞,需要盡快更換硬盤進行Raid重構,恢復數據。而在數據重構期間,如果再出現一塊硬盤損壞,數據就會丟失,因此Raid重構時間越短越好。然而,Raid重構的時間跟硬盤容量有關系,以3T磁盤為例,按照在線修復的模式,磁盤的平均寫入速度在50MB/s左右,此時Raid5修復的時間長達16個小時,實際應用中,一般都在20個小時左右。隨著當前的硬盤容量越來越大,3T硬盤已經成為主流,4T也已經普及,一些地方甚至用上了6T硬盤,這必將導致Raid的修復時間窗口越來越大,在這個窗口內,第二塊盤損壞的概率也越來越大,再考慮到長時間高碼率并發讀寫導致的硬盤故障率上升,存儲設備數目龐大導致的維護響應時間延長,視頻數據的可靠性越來越難以保證。
3、數據傳輸能力逐漸出現瓶頸
IPSAN方案中,單個監控點的視頻錄像一般都存儲在一臺陣列設備上。隨著視頻監控系統規模的擴大,各類用戶增多,在加上視頻碼流的逐步提升以及上層圖像綜合應用的不斷豐富,系統對于單臺磁陣的吞吐能力也提出了更高的要求,特別是在應急聯合作戰的情況下,并發的視頻錄像調取、回放和實時調度的監控路數都快速增加,大量的業務可能都會集中到某一臺存儲設備上,面對這些日益增長的隨機并發訪問,單臺設備的性能成為瓶頸。
4、數據共享能力不能滿足業務需求
在目前大中型的IPSAN存儲方案中,IPSAN設備雖然很多,但是彼此孤立,各自提供獨立的存儲空間給不同業務模塊使用,其中的數據只能由掛載該存儲空間的業務服務讀寫,其他非掛載該陣列設備的圖像綜合業務系統則很難直接訪問到該存儲空間中的特定數據,即使能通過網絡文件方式訪問,對于數目如此龐大的存儲陣列,也需要業務系統進行數目龐大路徑加載。因此,IPSAN的數據共享能力很差,從而也影響到了圖像綜合業務的發展。
上述的問題在IPSAN存儲系統不是很龐大的情況下,表現的并不明顯,然而隨著監控系統規模的逐步擴大,存儲數量的不斷增加,大中型視頻監控系統不得不面對這些問題并探尋新的存儲系統和解決方案。
安防云存儲的誕生
相較于上面所說的IPSAN無限擴容帶來的不足,云存儲的優勢是顯而易見的:
①服務性質更強
云存儲系統由多臺云存儲設備構成,但是提供統一的虛擬存儲空間,用戶和業務系統在使用云存儲時只感知空間,不感知節點,不用關心存儲空間由哪些存設備構成,這些設備放在何處。這使得用戶與應用提供者,無需為繁瑣的細節而煩惱,能夠更加專注于自己的業務;對于租用云服務的用戶、應用開發尚而言,更是直接省去了自建存儲系統的費用與設備維護成本。
②維護更簡單
選擇自建私有云模式的用戶也不用臺擔心,云存儲提供集群化管理模式,用戶只需要登錄到云存儲系統的一個IP地址,就可以看到所有的存儲設備狀態、相應的磁盤狀態以及整體存儲空間的使用情況。系統還會針對不同的異常和故障問題及時的給出告警通知和日志記錄,大大簡化了管理員對存儲系統的維護和管理工作。
③使用更安全
云存儲系統采用基于糾刪碼的分布式離散存儲策略,需要存儲的數據信息都被條帶化、離散化,直接拆分成多個數據塊,然后計算冗余校驗數據塊,再分散存儲到不同的云存儲設備中,數據的分散程度和冗余程度可以通過系統進行靈活設置。通過糾刪碼的冗余校驗機制,系統提供數據高可靠性保護,可以允許系統壞多塊硬盤,甚至多個存儲設備節點而不會造成數據丟失,或者只影響和丟失很小部分的數據,其他數據的讀取不受影響,寫入則完全不受影響。此外,由于采用系統級離散存儲,多個存儲節點中都有相應的數據塊和校驗塊,在硬盤損壞后恢復硬盤數據時由多個存儲節點在空閑的空間內同時進行重構,要比傳統的基于磁盤的Raid快得多,重構速度可以達到1個小時以內。
④讀取、輸入更流暢
云存儲系統采用糾刪碼離散存儲策略,任何一段視頻都被拆分成多個數據塊分散并同時存儲到多個存儲節點中,因此,對該段視頻的讀取都由多臺存儲設備同時提供服務,避免了通過單臺設備讀取而造成的性能瓶頸。
⑤動態伸縮,擴容更方便
傳統存儲,業務系統直接跟每一臺存儲設備打交道,每擴容一次,都要識別和掛載新的存儲設備,并進行原有數據的遷移,從而導致業務長時間中斷。而云存儲采用存儲虛擬化技術,業務系統只感知整體容量的變化,不關心具體設備,并且擴容后原有數據會在新的存儲空間中自動重組和均衡,業務不受任何影響。
⑥數據共享無障礙
傳統存儲接口封閉,一個存儲系統只對接一套業務,視頻監控、智能分析、圖像偵查等每個業務都要建立自己的存儲系統,互相之間數據共享效率十分低下。而云存儲提供統一的存儲空間、命名空間,不同的業務系統,對存儲系統的訪問是一致的,這些數據在權限控制下都可以通過統一的命名路徑直接進行讀取,從而提升了不同業務系統間數據信息的共享能力。
上面說過,目前安防主流廠商均已推出自己的云存儲系統,而科達的“天際“云存儲,在具備以上所有云存儲優勢的同時,還有幾點獨特之處:
① 支持BBU電池。天際云存儲在每個存儲節點都配備了BBU電池,當某個存儲節點發生異常斷電時,存儲節點會及時保存緩存中的數據到磁盤,確保數據不會丟失,并同時向控制節點發送告警通知,由控制節點操作,“屏蔽”該存儲節點,將設備斷電時期的業務遷移至其他存儲節點,從而避免數據丟失。
② 支持仲裁模式,極端容錯。天際云存儲支持仲裁模式,當所有控制節點(元數據節點)全部異常時,啟動仲裁模式,視頻存儲的業務不會中斷,數據不會丟失;當控制節點恢復后,存儲節點會自動同步異常期間數據信息至控制節點,恢復整個系統。
③ 存儲內容更多樣。與一般安防云存儲只支持視頻和圖片存儲不同,天際云存儲不僅可存放視頻、圖片數據,還可以存放多種類型的一般的文件數據。
④更加標準、開放。天際云存儲具備多種開放的、標準的業務數據訪問接口:支持NFS、S3、FTP等通用接口及基于SDK的專業服務接口,同時還支持HDFS接口服務,可與業界的云平臺大數據系統進行對接。
云存儲技術未來的發展方向
上面全是講的云存儲的優勢,且不少安防廠商也有了自己的云存儲應用案例,如科達天際云存儲在柳州平安城市中的應用等等,但目前云存儲技術還遠非“完美”,仍有很多地方需要繼續完善。
① 提高可靠性與安全性。
為滿足可靠性、安全性的要求,需要云存儲系統提供更為可靠、安全的數據保護能力和訪問控制機制,特別是對于互聯網應用的情況,必須能夠保證用戶的數據安全性,提供多層面的數據服務保證。
此外,由于大規模數據存儲對硬盤的讀寫能力要求較高,而硬盤恰恰是存儲系統中最易損壞的設備。因此,云存儲系統對硬盤的優化讀寫以及容錯機制,還可以進一步優化,充分利用硬盤的最新技術在提升數據可靠性和讀寫性能的同時,降低硬盤損壞率,減少硬盤損壞對數據和系統的影響。
② 數據與計算的進一步結合
云存儲作為一個龐大的數據存儲中心,一般都由很多存儲節點組成,如果這些節點能夠同時具備便捷計算的能力,直接在數據存儲的節點上完成數據分析工作,那么計算的過程將不需要通過前端網絡實現過多的數據存取調度業務,從而降低業務網絡運輸的壓力,也提升了總體數據分析的速度。
③ 更高效的數據冗余
目前,很多云存儲系統,特別是互聯網上的云存儲系統,都傾向于采用多副本方式實現數據冗余,提升數據的可靠性,但這必然會帶來存儲空間使用率低下的問題;而針對大規模視頻監控系統的安防云存儲來說,副本方式幾乎是不能接受的,建設成本太高,性價比太低。因此,必須采用更為先進的技術,在降低數據冗余度的同時,能同時提高數據的可靠性,糾刪碼是其中一類技術,相信以后還會有更新的技術。
④ 高效異地容災技術
異地容災技術目前還主要針對計算機業務系統,和輕量級的數據存儲(如銀行數據庫等),而像安防監控那樣海量的數據存儲系統,真正的數據異地容災還無法很好的實現,其主要的原因是安防存儲的數據流量太大,數據存儲的體量也太大,傳統異地容災技術成本太高。因此,我們需要更新的技術,來實現此類海量安防視頻數據的異地容災機制,提高系統整體的可靠性。
⑤ 可針對特定專業用戶的專業化數據存儲服務定制能力
目前,針對通用市場的互聯網云存儲仍以單一的存儲服務為主,不管是互聯網云存儲或是安防云存儲,在專業化定制服務方面仍需加強,讓存儲系統與用戶的各項業務結合更緊密,比如針對特定業務的數據存儲管理優化,提升特定業務數據存儲和調閱的效率;對存儲內容提供更豐富的信息描述,以及數據標簽等,充分發揮云存儲自身的特性的同時提升專業服務能力。
講了這么多,以云存儲與當下談得火熱的“大數據”、“物聯網”之間的關系結尾:當視頻圖像信息都集中存儲在統一的云存儲系統中時,對圖像信息的調取、融合與聯合分析會更全面、更快速,對信息的綜合處理能力會更強,大數據云平臺的效用才能得到淋漓盡致地發揮。直接反應在公安實際操作中就是,圖像信息的檢索、視頻摘要分析、信息綜合分析判斷等操作速度會更快,應用于綜合分析的信息會更多,最終得到的分析結論也就越準確。
總之一句話,云存儲,正在帶動一場安防存儲方式的革命。