隨著視頻監控圖像越來越清晰,存儲時間越來越長,存儲的可靠性要求越來越高,視頻數據的存儲也從數字硬盤錄像機(DVR),逐步轉向專業的IPSAN專業存儲設備,尤其在園區監控中表現更加明顯。
但是,園區監控中不但要做到園區安防監控,還要對生產業務進行監控。傳統監控中,媒體服務器文件存儲模式已經不能很好的解決新的存儲業務的需求,比如媒體服務器的“啞鈴”效應問題,生產監控應急的快速檢索和歷史錄像回放問題等。
上述問題的解決需要重新思考監控中的存儲模式的選擇,打破傳統監控中媒體流的文件存儲模式。
媒體流的文件存儲
傳統的監控采用將流數據組成一個個文件進行存儲,所有歷史圖像回放都是通過播放存儲下來的視頻文件完成,文件形成期間,管理人員無法讀取該文件,比如很多“DVR/DVS+流媒體服務器”方式的監控應用中,采用每半小時形成一個視頻文件的方式對監控圖像進行存儲,這就意味著在當前時刻以前半小時以內的歷史圖像是無法調用。
在緊急事件發生時,人們希望能夠盡快看到歷史圖像,甚至要求可以隨時回放。這就要求數據流形成文件的時間間隔盡可能短,但這樣又會給系統造成巨大的性能壓力。如以5分鐘形成一個視頻文件,每個監控點一天就將產生近300個文件,如果每個監控點的歷史圖像要存儲30天,就意味著每個監控點需要產生近9000個文件,對于一個1000路的大規模監控系統,將需要處理900萬個文件,系統必然不堪重任。
對此,業界早在幾年前就開始嘗試新的數據管理方式,希望能夠提高監控存儲的數據管理效率,滿足監控大規模應用的需求。其中,“塊存儲”就是比較有特點的一種,這種方式采用“時間索引+塊數據”的專用數據結構,拋棄了傳統的文件系統,提高了監控數據的管理效率。
媒體服務器的性能瓶頸及可靠性
傳統模式中,當需要實現集中存儲或支持多人同時看一個監控點時,中間通過媒體服務器進行轉存或復制。這種方式下,媒體服務器需將媒體流轉換為文件進行存儲,前端的大量的媒體流數據都經過媒體服務器轉存到后端的存儲設備中。服務器的處理性能,帶寬等都容易成為性能瓶頸,整個系統的性能分布成啞鈴狀,也增加了故障點,媒體服務器的故障會影響到整個系統的監控存儲業務。
媒體服務器文件存儲模式
實際上,在很多大規模監控方案中,為了解決媒體服務器性能瓶頸的問題,一般會采用服務器群的方式完成。但又帶來新的問題,如多個服務器之間如何進行負載分擔?某個服務器故障之后,系統如何將數據流量切換至其他服務器?這些服務器如何管理?如何共享一個存儲空間?等等,解決這些問題需要一個非常優秀的集群管理系統,增加系統復雜性的同時,還需要一筆不菲的預算,更遺憾的是,目前業界還沒有一個集群管理系統可以很好的解決該問題。
因此,前端設備到IP SAN的端到端直存就是一種很好的解決辦法。
在存儲方式上,“數據塊直存”的數據管理方式拋棄了媒體服務器,在IP網絡的基礎上,在編碼設備中集成了iSCSI模塊,使得編碼設備可以基于iSCSI的協議端到端的把錄像數據寫入IPSAN存儲設備中。
監控錄像的檢索效率
傳統監控中,對于媒體流的文件存儲模式,在錄像檢索時首先要根據攝像頭、檢索的時間查找到對應的文件,然后再進一步定位具體的時間點,從該時間點回放錄像。歷史數據檢索的最小單位是文件,顆粒度太大,精確度低。
文件系統本來是為隨機讀寫的數據管理應用設計的,檢索效率較低,一個含幾百萬個文件的系統的檢索效率很難想象。所以,當系統規模擴大后,傳統數字監控方案的效率下降很快。
在“塊直存”的系統中,“塊”存儲可以理解成自定義的一種文件系統,在裸盤上進行數據讀寫;時間作為每個數據單元的索引,并且把索引和數據單元保存在一個完全獨立的邏輯存儲空間上。錄像的索引和數據形成獨立的、完整的數據結構,這種數據結構完全由自己管理,不再由操作系統和文件管理。通過時間索引+塊數據存儲這種組合,在錄像檢索上,可以基于時間進行檢索,可以快速定位到任意時間的錄像,檢索效率大幅度提高。在檢索的顆粒度上,也不再受文件大小的限制,可以實現秒級的連續檢索。
當然,這種存儲方式必然對監控廠商的技術積累和實力提出了更高的要求,如要求編碼器支持雙碼流,實時監控視頻流和存儲視頻流可以獨立編碼,同時編碼器支持iSCSI協議。雙碼流是現在所有高端編碼器的基本要求,實現的廠商較多,編碼器支持iSCSI則要求監控廠商同時具備專業的存儲技術積累,對于目前的多數監控廠商而言,存在一定的技術門檻。可喜的是,我們看到,越來越多的監控廠商認識到存儲對于一個監控方案的重要性,開始進行這方面的技術積累。