企業網D1Net(全球IP通信聯盟旗下媒體)7月24日(上海),據國外媒體報道,為了幫助將來需要處理大量數據的企業用戶,IBM的研究者設計出了一種超快速的存儲系統,這種系統能夠在43分鐘內掃描100億個文件。此次IBM將掃描速度提升了37倍。
這個存儲系統明顯優于IBM 2007年演示的系統。早在美國2007年超級計算機大會(Supercomputing 2007)上,IBM就推出了一個存儲系統,它能夠在3個小時內掃描10億個文件。
存儲系統的性能得以改善的關鍵原因是,使用了高速閃存來保存存儲系統使用的定位需求信息的元數據。而傳統的方法是將元數據庫存儲在普通硬盤上,在訪問這個數據庫時,就會減緩存儲系統的運行速度。
"如果把數據存儲在高速存儲器上,那么我們做這些操作時,速度會加快很多。" IBM 阿爾馬登研究中心的存儲系統負責人Bruce Hillsberg說,"相對于在磁盤上存儲元數據來說,利用固態存儲器存儲元數據確實能夠極大地提高我們執行管理任務的速度。"
IBM預計,在未來幾年內,它的客戶將需要處理更多的信息。"由于客戶長期內需要存儲和處理大量的數據,因此,他們需要高效的管理這些數據。" Hillsberg說。
在新演示的存儲系統中,IBM建立了10個八核服務器集群,共裝備了6.8TB的固態存儲器。IBM使用了4款Violin Memory公司的3205固態存儲系統。最終組建好的存儲系統能夠以大約5 GB/s的速度閱讀文件。
Hillsberg稱,這個系統還使用了IBM 3.4版本的通用并行文件系統(GPFS),并進行了相應的調整。這款GPFS系統最初是為高性能計算系統設計的,現在也越來越適用于幫助數據量大的企業處理龐大的工作量。GPFS系統允許所有的處理器核心并行在硬盤上讀寫數據,從而極大地提高了存儲系統的反應速度。
無獨有偶,在美國計算機協會(Association for Computing Machinery)本月的通訊上,來自卡內基梅隆大學和英特爾實驗室的一組研究人員描述了一種整合有低能耗處理器和閃存存儲器的服務器架構,這種設計能夠極大地提高交易量巨大的大型網站的運行速度。
與IBM的架構類似,這組研究人員推出的名為Fast Array of Wimpy Nodes(簡稱FAWN)的架構只需要有極少量的閃存存儲器,把訪問頻率最高的數據存儲在上面即可。他們指出,盡管固態存儲器的價格可能是傳統硬盤的10倍,但是它們能把整個存儲系統的性能提高一倍。
用閃存存儲器協助建立服務器的想法"并不久,但是這種技術已經存在了。"谷歌著名工程師、參與FAWN架構設計的魯伊茲-安德魯-巴羅索Luiz André Barroso說。(By Joab Jackson, IDG News Service FLORA編譯 )