大量數(shù)字化處理對(duì)象。
Versity公司是一家采用多線程SAM-QFS的歸檔軟件初創(chuàng)企業(yè)。
這家年輕的公司成立于2011年3月,CEO Bruce Gilpin擁有風(fēng)險(xiǎn)投資背景,而CTO則為Harriet Coverston。她自1986年起即在LSC(即Large Storage Configurations)公司工作并擔(dān)任技術(shù)負(fù)責(zé)人職務(wù),而該公司正是QFS(即快速文件系統(tǒng))的開發(fā)方。
QFS能夠?qū)Υ疟P驅(qū)動(dòng)器進(jìn)行分組,并為其提供一套文件系統(tǒng)。該軟件后被Sun公司收購(gòu),Coverston亦在工作一段時(shí)間后隨甲骨文收購(gòu)Sun而轉(zhuǎn)投數(shù)據(jù)庫(kù)巨頭旗下。
在Sun公司中,QFS與存儲(chǔ)及歸檔管理器(簡(jiǎn)稱SAM)配合使用,后者負(fù)責(zé)管理磁盤與磁帶等批量存儲(chǔ)資源,而SAM-QFS即由此而生。Sun公司于2008年3月將其納入OpenSolaris項(xiàng)目。這是一款層級(jí)化存儲(chǔ)管理產(chǎn)品(簡(jiǎn)稱HSM),能夠?qū)⒗溟T文件由前端磁盤復(fù)制至磁帶(IBM、LTO與甲骨文格式),整個(gè)過(guò)程以后臺(tái)方式運(yùn)行并可根據(jù)需要隨時(shí)恢復(fù)至磁盤內(nèi)。
甲骨文公司目前的Hierarchical Storage Manager正是基于SAM-QFS。
Versity公司為自籌資金所建立,并在其后的兩年中一直以節(jié)儉與延遲結(jié)款方式進(jìn)行運(yùn)作,直到2013年7月獲得來(lái)自克雷公司的A輪資助。克雷公司為其高性能計(jì)算市場(chǎng)上的一家分銷合作伙伴。2014年4月,Versity存儲(chǔ)管理器(簡(jiǎn)稱VSM)軟件產(chǎn)品正式發(fā)布。
該軟件已經(jīng)擁有10到20家客戶,其中包括利用其管理250 PB數(shù)據(jù)的Ovation Data公司。另外,去年Versity公司簽下了一份總額達(dá)100萬(wàn)美元的訂單。
Gilpin在采訪時(shí)指出,VSM是一款開源軟件,用戶以訂閱方式加以使用。具體來(lái)講,VSM屬于專有開源產(chǎn)品,其以合法方式使用SAM-QFS源代碼,并由Versity方面基于CDDL進(jìn)行授權(quán)。
其架構(gòu)特性包括:
專門構(gòu)建的歸檔文件系統(tǒng)提供業(yè)界領(lǐng)先的性能表現(xiàn)。
基于策略的數(shù)據(jù)管理應(yīng)用提供自動(dòng)化存儲(chǔ)分層,從而實(shí)現(xiàn)持續(xù)存儲(chǔ)優(yōu)化效果。
基于開源SAM-QFS的技術(shù)方案目前已經(jīng)在為全球范圍內(nèi)的數(shù)百座客戶站點(diǎn)服務(wù)。
寫入為open tar文件格式以降低供應(yīng)商依賴性。
軟件的運(yùn)行速度據(jù)稱亦相當(dāng)出色:
Tunable系統(tǒng)參數(shù)調(diào)整可面向任意應(yīng)用、網(wǎng)絡(luò)類型或者存儲(chǔ)技術(shù)起效。
以接近存儲(chǔ)硬件原始速度的水平實(shí)現(xiàn)文件歸檔移動(dòng)。
元數(shù)據(jù)可進(jìn)行拆分存儲(chǔ)以提升吞吐能力,或者根據(jù)環(huán)境內(nèi)事務(wù)處理情況進(jìn)行穿插存儲(chǔ)。
可變DAU(即磁盤分配單元)機(jī)制擁有出色的大型與小型文件處理性能,且可調(diào)整以支持多種不同工作負(fù)載。
VSM并非對(duì)象存儲(chǔ)方案,亦不屬于并行文件系統(tǒng)。具體來(lái)講,這是一套適用于那些不希望面向?qū)ο驛PI進(jìn)行寫入,但又需要保留自身現(xiàn)有POSIX接口的企業(yè)客戶的歸檔存儲(chǔ)方案。
發(fā)展
Versity公司正著手為其后端存儲(chǔ)發(fā)布S3接口,旨在將其作為公有云或者內(nèi)部S3所能使用的對(duì)象存儲(chǔ)機(jī)制。目前已經(jīng)有一家客戶選擇這種使用方式,Gilpin表示其"硬件供應(yīng)商正是內(nèi)部對(duì)象存儲(chǔ)廠商之一。"
為什么Versity公司要支持對(duì)象接口?該公司給出的答案是,"因?yàn)閃eb規(guī)模數(shù)據(jù)中心雖然已經(jīng)建立起對(duì)象存儲(chǔ)體系,但其余企業(yè)仍然在使用POSIX,而且二者之間無(wú)法往來(lái)遷移。"
Versity公司還在著手添加一套二級(jí)對(duì)象存儲(chǔ)接口,旨在利用較S3更快速也更簡(jiǎn)單的方式將VSM與內(nèi)部對(duì)象存儲(chǔ)體系加以結(jié)合。根據(jù)我們掌握的情況,由此構(gòu)建的系統(tǒng)在使用成本上僅為Amazon S3存儲(chǔ)的三分之一。
我們猜測(cè)其后端對(duì)象存儲(chǔ)供應(yīng)商很可能是Cloudian公司。
多線程
多個(gè)文件被打包為單一TAR文件,即所謂流量重塑機(jī)制,其隨后作為單一條目被寫入至歸檔備份存儲(chǔ)內(nèi)。此TAR文件的大小可通過(guò)策略進(jìn)行設(shè)置。
VSM隨后會(huì)使用運(yùn)行在一個(gè)或者多個(gè)處理器核心上的線程進(jìn)行多線程IO。該軟件的部分開發(fā)人員來(lái)自Lustre公司,且對(duì)并行文件系統(tǒng)擁有深刻理解。Gilpin就速度水平給出說(shuō)明,表示VSM在使用5000美元戴爾服務(wù)器(配備雙10 GbitE網(wǎng)卡)的情況下能夠?qū)崿F(xiàn)每秒1.8 GB的后端存儲(chǔ)寫入速度。其讀取速度則為每秒2.1 GB。
這一水平與DataCore所使用的Parallel Server技術(shù)基本類似。
Gilpin指出,VSM的速度水平高于Avere文件管理器、對(duì)象存儲(chǔ)與云訪問(wèn)加速產(chǎn)品。
向外擴(kuò)展文件系統(tǒng)
Versity公司正在著手開發(fā)一套向外擴(kuò)展POSIX文件系統(tǒng),其可應(yīng)對(duì)高達(dá)1萬(wàn)億個(gè)文件。這套方案將匹配對(duì)象存儲(chǔ)系統(tǒng),而且已經(jīng)擁有8個(gè)月的過(guò)往開發(fā)周期。該公司希望在今年10月推出這套文件系統(tǒng)的alpha演示版本。
這將是一套對(duì)等系統(tǒng),其中不存在主節(jié)點(diǎn),同時(shí)采用字節(jié)范圍鎖定與B樹數(shù)據(jù)結(jié)構(gòu)。
Gilpin指出,其專門針對(duì)歸檔需求所設(shè)計(jì),而對(duì)字節(jié)范圍內(nèi)的POSIX加以忽略,意味著默認(rèn)情況下不存在文件鎖定。如果出現(xiàn)可能將其速度拖慢至NFS水平的資源競(jìng)爭(zhēng)情況,元數(shù)據(jù)會(huì)得到優(yōu)先處理。
而這將成為Versity公司的下一代產(chǎn)品。
Gilpin同時(shí)指出,Versity公司正在考量如何更好地從Lustre系統(tǒng)中提取文件,甚至直接支持Lustre文件格式。
競(jìng)爭(zhēng)關(guān)系與評(píng)論意見
其競(jìng)爭(zhēng)對(duì)手包括IBM(LTFS LE、TSM與HPSS)、甲骨文(SAM-QFS、甲骨文HSM)、SGI(DSM)以及昆騰(StorNext)。他表示,昆騰可能是其最為強(qiáng)勁的競(jìng)爭(zhēng)對(duì)手,當(dāng)然IBM與甲骨文則擁有更強(qiáng)大的銷售渠道與客戶基礎(chǔ)。
SpectraLogic據(jù)稱已經(jīng)成為Versity公司的一位合作伙伴。
在我們看來(lái),業(yè)務(wù)規(guī)模有限與來(lái)自克雷的投資并不能說(shuō)明什么;必須承認(rèn),這是一家嚴(yán)肅的廠商,其擁有出色的歸檔方案,而且VSM的多線程速度也的確令人印象深刻。
其向外擴(kuò)展發(fā)展思路也解決了各對(duì)象存儲(chǔ)廠商在構(gòu)建文件系統(tǒng)時(shí)始終存在的擴(kuò)展能力有限這一問(wèn)題。S3后端接口將使得VSM成為一套面向面向POSIX應(yīng)用用戶的對(duì)象存儲(chǔ)網(wǎng)關(guān),其它后續(xù)對(duì)象存儲(chǔ)API的推出也將進(jìn)一步強(qiáng)化這種能力。另外,向外擴(kuò)展文件系統(tǒng)的開發(fā)顯得頗具潛力,因此我們將期待著這家年輕的企業(yè)在4個(gè)月后會(huì)交出怎樣一份實(shí)際答卷。