所謂“渲染”就是對前期電腦中建立的動漫模型進行著色和轉換,從而體現出色彩、質感以及光線明暗變化等視覺效果,使其動漫形象更為生動。渲染過程中前端會有數百臺甚至上千臺工作站讀取存儲系統中的渲染數據,并且這些工作站的操作系統平臺各不相同,因此搭建一個異構訪問的共享存儲系統是必然的選擇,否則將會使數據遷移、復制的工作量大大提高,嚴重制約渲染的生產效率。
渲染集群的并發訪問對存儲系統的性能提出了較高的要求,后端的存儲系統必須能為前端工作站提供穩定的IO帶寬和快速的數據交付能力;傳統存儲由于控制器的限制會產生性能的瓶頸,制約了渲染的速度。
隨著圖片、視音頻清晰程度的提升以及數據大爆炸時代帶來的海量素材的急速增長,動漫渲染對于存儲的擴展性提出了更加苛刻的需求。傳統擴展需要停機、規劃、再部署等擴展復雜并且時間較長。與此同時,管理難度會隨著節點的增加而不斷增長,尤其在維護SAN共享時更為明顯。
動漫渲染的素材庫和渲染后的成品是非常寶貴的,任何損壞或者丟失都會對企業造成巨大損失,因此要求存儲系統具備高可用性,并且發生故障時能夠快速恢復;傳統存儲采用RAID的方式,同時損壞兩塊硬盤會導致數據的丟失。并且在硬盤更換數據重建時,存儲系統讀寫性能會急劇衰減,可能導致前端渲染集群幾乎停滯。
中博自主研發的分布式集群存儲系統,是一款針對海量數據存儲應用而設計的大規模通用集群存儲系統,采用通用硬件設備作為基本的構建單元。可以將一個渲染素材切分為數個切片對象,并將這些切片對象分布到多個存儲設備上,從而達到均衡訪問壓力,提前端渲染集群的讀寫速度。
高性能,高吞吐量,大幅縮短渲染周期
由于動畫影像制作涉及到大量的色彩、色質、形態的處理,這就需要多CPU、多核以多線程和進程的方式工作,才能滿足三維影像渲染的需要。中博集群存儲支持在線并行模式,讓所有IO節點同時工作來提供性能,突破高并發訪問帶來的帶寬和服務器性能瓶頸,可提供超過100GB的I/O帶寬。當某一節點出現故障時,不會影響其它IO節點工作,并實現故障的自動切換。
高擴展性,高效支持渲染業務動態擴展
中博集群存儲采用Scale-out擴展方式,性能和容量隨存儲節點的增加而線性增長,打破傳統SAN架構的擴展限制,很好的滿足渲染業務增長對存儲空間和帶寬的更高需求,單一的全局命名空間下,容量可無縫擴展到PB級。同時,所有擴容操作均可以在線進行,無須中斷應用的正常執行,避免數據遷移和應用中斷的問題。
高可用性和高可靠性,核心數據不丟失
中博集群存儲系統各個組成模塊均采用集群的冗余機制和高效、準確的失效檢測算法保證整個系統的高可用性。系統任一節點故障在被自動偵測到后,能夠智能的進行自我修復,并且不影響前端應用。
中博科創采用分布式存儲系統的多級副本技術,副本數量自定義,在數據安全性能上,比傳統RAID做到更高級別的容錯機制。即使面臨50%的節點宕機或硬盤損壞,系統依然正常運行。且重建速度是傳統RAID恢復速度的幾十倍,保證了保證系統全年7*24小時無間斷運行,關鍵數據不丟失。
管理維護更方便,支持異構系統,降低管理難度
中博集群存儲系統,提供目前絕大多數傳統存儲接口和協議,如POSIX、CIFS、NFS、FTP、iSCSI、FC,支持市面主流系統平臺對文件的讀取調用,有效支持渲染過程中前端工作站的各類操作系統平臺,降低管理維護難度和部署成本。
中博集群存儲對外提供單一命名空間,節點數的增長不會帶來管理難度的增加。管理界面層次清晰、操作簡便,提供完善的系統報告,能夠對性能、空間和運行狀態實時監控。