今天,全球數據存儲量呈現爆炸式增長,企業及互聯網數據以每年50%的速率在增長,據Gartner預測,到2020年,全球數據量將達到35ZB,等于80億塊4TB硬盤。數據結構變化給存儲系統帶來新的挑戰。非結構化數據在存儲系統中所占據比例已接近80%。
互聯網的發展使得數據創造的主體由企業逐漸轉向個人用戶,而個人所產生的絕大部分數據均為圖片、文檔、視頻等非結構化數據;企業辦公流程更多通過網絡實現,表單、票據等都實現了以非結構化為主的數字化存檔;同時,基于數據庫應用的結構化數據仍然在企業中占據重要地位,存儲大量的核心信息。
數據業務的急劇增加,傳統單一的SAN存儲或NAS存儲方式已經不適應業務發展需要。SAN存儲:成本高,不適合PB級大規模存儲系統。數據共享性不好,無法支持多用戶文件共享。NAS存儲:共享網絡帶寬,并發性能差。隨系統擴展,性能會進一步下降。因此,集中式存儲再次活躍。
那么集中式存儲和分布式存儲的有缺點分別有哪些呢?在面對二者時我們該如何選擇呢?下面我將為大家介紹和分析集中式存儲和分布式存儲的不同之處以及在應用中我們應做的選擇。
分布式和集中式存儲的選擇
集中存儲的優缺點是,物理介質集中布放;視頻流上傳到中心對機房環境要求高,要求機房空間大,承重、空調等都是需要考慮的問題。
分布存儲,集中管理的優缺點是,物理介質分布到不同的地理位置;視頻流就近上傳,對骨干網帶寬沒有什么要求;可采用多套低端的小容量的存儲設備分布部署,設備價格和維護成本較低;小容量設備分布部署,對機房環境要求低。
對于城市監控系統的監控數據,各個區域是否集中,怎么集中很多時候和一個城市的行政劃分有關,一個城市的區域大小和可用的網絡狀況有關。城市越小,網絡條件越好,越容易實現集中存儲。反之就越需要進行分布式存儲。如北京有8個區。建立視頻監控系統時,可以每個區域先集中,再匯聚到總中心,如應急指揮中心。
視頻監控存儲采購需要注意的問題因為監控是一個視頻應用類系統,具有和其它系統不同的訪問特點:以流媒體方式對存儲設備進行訪問,多路視頻長時間同時寫入同一個存儲,實時多路視頻訪問同一個文件,視頻訪問帶寬恒定,帶寬穩定性要求高,為1/25秒的平均值,視頻訪問時間長,容量需求巨大,存儲擴展性能高。視頻存儲對存儲環境沒有特殊的要求。按常規監控系統的數據基本上都是臨時性,超過在線存儲時間(如7天、15天,個別會要求30 天)后,就可以刪除了,因此監控系統的備份很多時候只要能滿足一個月就可以了。
因此的設備選型時,不一定非要選帶寬最大的,而要選擇帶寬波動最小的,曲線最平穩的。因為要長時間運行,最好在用控制器架構的存儲設備,不要選擇PC架構的,選擇容量可以擴張的設備。
另外,在超過100TB容量的情況下,FC-sata設備的價格不一定就比ISCSI設備貴。FC支持的磁盤數量多,ISCSI設備一般支持的數量少,假設容量要求為500TB,FC-sata只需要一套就可以,而ISCSI設備就需要很多到才行,僅僅ISCSI設備的控制器部門的費用就是很大一塊。
視頻監控系統首先是一個視頻應用系統,因為存儲設備要能夠提供穩定的帶寬輸出,滿足長時間視頻讀寫的要求,其次,視頻監控系統既要滿足大量攝像頭的實時數據寫入,和要滿足大量監控端的視頻回放需求,因此,還要考慮存儲系統可以提供足夠的IOPS性能。
由于視頻監控系統一般遍布全市甚至全國,因此存儲設備還要考慮是否可以實現物理上分散,但管理和監控上可以統一的功能。
網絡視頻系統的存儲方案選擇視頻應用類系統包括如網絡視頻、IPTV、VOD點播和視頻監控。但由于網絡視頻系統的碼率一般相對較小,大約為100Kb/S- 200Kb/s左右,因此對帶寬要求相對較小。需要在線播放的用戶很多,因此一般來將存儲設備的IOPS性能要求很高,一般網站機房的總帶寬一般都在 1-2Gb/s(實際可用的帶寬)左右,個別大型網站可能達到4-5Gb/s.能分配給網絡視頻板塊的也就差不多100-200MB/S,因此對于帶寬來講一般的ISCSI存儲和FC存儲都可以輕松滿足,但如果采用NAS存儲,則需要中高端產品。
雖然采用高端NAS設備的成本較高,但NAS本身對外提供共享的文件系統,在網絡視頻的管理和共享方面區有天然的優勢,方便后期的視頻服務器數量擴張和升級。ISCSI和中低端的FC設備由于采用低成本的SATA磁盤,IOPS新能一般都在6w-10w左右,因此無法用與大型的網絡視頻系統。
建議網絡視頻系統選型是要從帶寬和IOPS兩個方面去考慮,在兩個方面都滿足的情況,盡量采用NAS產品。大型系統建議采用FC磁盤的光纖設備。
如果系統有一個好的視頻管理系統和分發軟件系統的話,可以采用小容量的高性能存儲作為在線存儲為用戶提高實時訪問,再采用一臺低成本的ISCSI或NAS設備作為二級存儲。
例如安防盡量采用星型連接方式,同時也可以用總線的方式或者無線的方式做為補充。電力線載波很難用于安防探頭的連接方式,因為無法解決停電時的信號傳輸問題。星型連接還是信息綜合布線的最佳解決方案。燈光和除了信息類家電以外的電器如空調、電飯煲等的控制可以采用總線、電力線、無線或紅外等方式。