上周,IBM宣布,使用IBM General Parallel File System (簡稱GPFS,譯者注:GPFS是全球領先的并行文件系統,在超級計算機中心被廣泛應用。很多全球500強的超級計算機都運行在GPFS上。它具有高可伸縮性,能夠高效工作在1個節點到4000多個節點的集群環境中)技術和固態硬盤,在43分鐘之內瀏覽上百億個文件,這顯示了固態硬盤的巨大潛力以及并行文件系統在處理快速增長的數據存儲方面的能力。
IBM研究中心的存儲系統負責人Bruce Hillsberg表示,IBM在其集群并行文件系統中采用了一種新的運算法則,并且在硬件方面結合了10個八核IBM 1036 M2服務器和4個Violin Memory 3205閃存SSD陣列。這使得該系統可以存儲數百億文件和6.5 TBs元數據。
市場研究公司Pund-IT的負責人兼首席分析師Charles King認為IBM GPFS性能測試是一個有趣的實驗,但是并不認為它是一款商業化的產品。它的性能非常強勁,但安裝成本也是高的驚人,許多公司根本支付不起或者根本不需要。Charles King表示,也許一款精簡版的系統會更加符合如今市場的需求。
Charles King表示:“這簡直是一個超級GPFS系統。僅有一小部分應用程序現今的確需要這種高端GPFS性能。但是IBM一直致力于為用戶提供非常有效的商業解決方案。IBM相當擅長于將其的研究產業化。他們可以對這個系統進行簡化,而性能不會受到影響,來滿足市場的需要。這款技術的好處在于它可以根據客戶的需求來進行簡化或者升級。
Bruce Hillsberg表示,GPFS的性能如此優越在很大程度上跟使用固態硬盤有關。在2007年,IBM使用了大約20個磁盤驅動器在三個小時之內掃描了十億文件。如果不使用SSDs的話,處理數百億文件的元數據將會至少需要200個磁盤驅動器。
GPFS在搜索引擎數據庫和高性能計算軟件方面應用廣泛。IBM在其商業產品中使用GPFS,例如其Scale Out Network Attached Storage (SONAS) 和 Information Archive產品。在后續產品中,IBM將會推出GPFS的增強版本。
Hillsberg表示:“凡是使用GPFS的產品和軟件都會因此作出相應的GPFS更新。”
根據IBM白皮書,信息生命周期管理(information lifecycle management,簡稱ILM) 的GPFS功能就像是數據庫查詢引擎,可以快速識別文件。一旦找到相應文件,GPFS數據管理功能會使用并行接入來移動、備份或者歸檔用戶數據。在文件系統中,GPFS緊密的集成了數據管理功能。該高性能引擎允許GPFS支持數十億的文件管理。
Hillsberg表示:“數據的爆炸性增長是一個相當重要的原因。客戶需要分辨哪些數據需要備份、災難恢復和復制。通過掃描數據來進行數據管理。”