大家可能都有這樣的經(jīng)歷,當(dāng)你有朋友造訪或假期聚會(huì)時(shí),一般會(huì)選擇去餐館就餐,而平時(shí)只有你一家人吃飯時(shí),通常會(huì)在家里自己動(dòng)手做飯。盡管分布式文件系統(tǒng)給一些存儲(chǔ)愛好者提供了自己搭建存儲(chǔ)系統(tǒng)的可能性,但應(yīng)對(duì)企業(yè)級(jí)海量的文件數(shù)據(jù)管理與存儲(chǔ),用戶仍然需要一個(gè)專業(yè)的存儲(chǔ)方案供應(yīng)商提供成熟的、久經(jīng)驗(yàn)證的存儲(chǔ)解決方案。
在一定規(guī)模的數(shù)據(jù)中心,各個(gè)組件的管理和交互非常復(fù)雜,數(shù)據(jù)傳輸和處理一刻都不會(huì)停止,在眾多的組件中,最容易引起瓶頸的莫過于NAS,一旦NAS慢下來,會(huì)引發(fā)連鎖反應(yīng),特別是有多個(gè)文件系統(tǒng),多個(gè)文件樹需要檢索時(shí),性能下降尤為明顯,這個(gè)時(shí)候就需要派上元數(shù)據(jù)和/或索引來解決問題了,但這些方法又會(huì)增加額外的管理開銷。
NAS的挑戰(zhàn)除了大批量文件交換外,還包括文件的增長速度,環(huán)境和內(nèi)容的急劇變化。如果不解決這些問題,NAS將面臨被淘汰的危險(xiǎn),正是這個(gè)時(shí)候,IBM考慮實(shí)施NAS變革,于是出現(xiàn)了全新一代的SONAS架構(gòu),讓NAS技術(shù)出現(xiàn)了一次重大轉(zhuǎn)折。
大規(guī)模文件數(shù)據(jù)帶來NAS轉(zhuǎn)折點(diǎn)
雖然目前大部分交易都是通過對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理完成的,但越來越多的業(yè)務(wù)開始使用非結(jié)構(gòu)化的數(shù)據(jù),業(yè)務(wù)通常是通過數(shù)據(jù)收集,電子郵件,信件和其它形式的通信完成的,最終結(jié)果保存為文件,這就好比餐館要提供品種豐富的菜品一樣具有挑戰(zhàn)性,使用非結(jié)構(gòu)化數(shù)據(jù)面臨以下4個(gè)方面的挑戰(zhàn):
1、透明度
在商業(yè)信息環(huán)境中,不是所有的信息都會(huì)暴露給參與各方,也沒有哪個(gè)會(huì)蠢到全部暴露,但要消除障礙,找到你需要的,或需要一個(gè)什么過程也是一個(gè)重大策略,保持一定的透明度符合各方的利益訴求。
2、變更管理敏捷度
大多數(shù)企業(yè)面臨的變化越來越多,IT也會(huì)跟著發(fā)生許多變化,這給原本已經(jīng)困難重重的IT增加了更大的壓力,不僅是數(shù)據(jù)版本問題,還包括處理數(shù)據(jù)鏈接和業(yè)務(wù)數(shù)據(jù)間接關(guān)聯(lián)的數(shù)據(jù)源,信息變化管理工作必須跟上信息變化的腳步,否則錯(cuò)誤的信息會(huì)導(dǎo)致巨大的麻煩。
3、安全和訪問控制
因?yàn)榻M織和人員的角色會(huì)不斷發(fā)生變化,訪問控制必須精細(xì)化,要能應(yīng)付各種變化,有時(shí)需要數(shù)據(jù)本身配合做好安全防護(hù),而不是單憑應(yīng)用程序來實(shí)施控制。
4、成本控制
如果你不能改變非結(jié)構(gòu)化數(shù)據(jù)增長的趨勢,那就必須適應(yīng)使用這些非結(jié)構(gòu)化數(shù)據(jù),最好是開發(fā)標(biāo)準(zhǔn)化,自動(dòng)化的方法,否則靠人工方式處理必然引起成本的增加,但目前的確面臨成本急劇升高的難題。
這些挑戰(zhàn)排除了適合于小規(guī)模,簡單的,或只讀信息的策略,IBM新的橫向擴(kuò)展NAS – SONAS - 能夠解決所有挑戰(zhàn),SONAS也改變了NAS原有的價(jià)值主張,現(xiàn)在SONAS已經(jīng)成為IBM公共云產(chǎn)品的基礎(chǔ),下面就談一下SONAS技術(shù)創(chuàng)新如何應(yīng)對(duì)海量文件數(shù)據(jù)的存儲(chǔ)挑戰(zhàn)。
SoNAS創(chuàng)新看點(diǎn):網(wǎng)格節(jié)點(diǎn)
在SONAS中,IBM為我們帶來了許多創(chuàng)新的看點(diǎn):
管理節(jié)點(diǎn),接口節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)被整合到同一個(gè)基礎(chǔ)硬件中,圖1展示了SONAS的架構(gòu),這種設(shè)計(jì)有助于更方便地創(chuàng)建高可用集群,以及今后向其中添加更多節(jié)點(diǎn),這些節(jié)點(diǎn)通過1和10GB以太網(wǎng)接口與用戶,應(yīng)用程序和IT管理系統(tǒng)連接,節(jié)點(diǎn)之間使用Infiniband連接,配合常見的SONAS軟件使用,幾乎可以創(chuàng)建媲美大型機(jī)的處理能力。
圖 1 IBM橫向擴(kuò)展網(wǎng)絡(luò)附加存儲(chǔ)(SONAS)架構(gòu)
每個(gè)節(jié)點(diǎn)都運(yùn)行SONAS操作系統(tǒng),可通過DVD或滾動(dòng)下載升級(jí)包升級(jí)操作系統(tǒng),升級(jí)不需要額外付費(fèi)。
每個(gè)存儲(chǔ)箱中包含兩個(gè)存儲(chǔ)節(jié)點(diǎn),數(shù)據(jù)是經(jīng)過條帶化后均勻分布到所有存儲(chǔ)箱的,它們前面是高密度存儲(chǔ)控制器,相互交叉連接,在一個(gè)4U高的機(jī)箱中可容納64塊磁盤驅(qū)動(dòng)器,支持SAS(RAID 5)和SATA(RAID 6)驅(qū)動(dòng)器。
圖 2 SONAS配置[NextPage]
這種節(jié)點(diǎn)設(shè)計(jì)方式允許安全方便地?cái)U(kuò)展,網(wǎng)格實(shí)現(xiàn)支持高可用和更豐富的共享,可跨所有存儲(chǔ)箱共享工作負(fù)載和文件,所有節(jié)點(diǎn)都可以看到并訪問全部存儲(chǔ),節(jié)點(diǎn)之間有內(nèi)部通信,可相互感知。SONAS的集群數(shù)據(jù)庫監(jiān)管分配和履行請求,它使用字節(jié)范圍鎖定支持相同數(shù)據(jù)上多進(jìn)程并發(fā)訪問,對(duì)于相同字節(jié)范圍則采用令牌進(jìn)行仲裁,這種控制粒度比Check In/Check Out更加精細(xì)。
SoNAS創(chuàng)新看點(diǎn):多維擴(kuò)展
容量和性能:SONAS架構(gòu)支持容量和性能獨(dú)立擴(kuò)展,這是滿足各類需求,并能有效控制成本的最佳方法,因?yàn)橛械挠脩糁幌爰哟笕萘浚瑫r(shí)又希望不影響性能,有的用戶只想提升性能,但又不想增加容量。
多維擴(kuò)展需要對(duì)架構(gòu)重新設(shè)計(jì),層次太多會(huì)使架構(gòu)變得很復(fù)雜,層次太少又會(huì)很脆弱。SONAS是基于Linux的,大部分功能都是由IBM的通用并行文件系統(tǒng)(GPFS)提供的,GPFS是10年前IBM為滿足高性能網(wǎng)格計(jì)算開發(fā)的,它繼承了ILM和HSM的優(yōu)點(diǎn),完整支持POSIX語義,它使用一套無單點(diǎn)故障的方法處理和分析數(shù)十億量的文件。
變化和高可用:今天的實(shí)時(shí)應(yīng)用需求要求同時(shí)提供高速變化和高可用能力,根據(jù)傳統(tǒng)的觀念,這兩個(gè)要求是不能同時(shí)滿足的,GPFS支持急速掃描,然后以并行無破壞的方式備份發(fā)生變化的數(shù)據(jù)(很快就完成,對(duì)高優(yōu)先級(jí)活動(dòng)進(jìn)程無性能損失),此外SONAS還支持異步操作,這種多元性是由SONAS支持的復(fù)雜策略支撐的。
多維策略:對(duì)于非常大型的環(huán)境,事情總是復(fù)雜得多,SONAS有一套完整的部署,遷移,刪除,備份/歸檔和恢復(fù)策略集,注意前三個(gè)策略更多的是面向業(yè)務(wù)的,后兩個(gè)策略更多的是面向IT技術(shù)的,將來可以增加更多的節(jié)點(diǎn)以滿足更多的業(yè)務(wù),或增加更多的應(yīng)用程序控制特定域的文件。
SONAS支持多域聯(lián)合:例如,某個(gè)文件可能同時(shí)位于一個(gè)嚴(yán)格復(fù)制的域和一個(gè)更普通的遷移域中,對(duì)于復(fù)雜的文件處理,SONAS軟件支持類SQL的命令,在相同目錄下的文件可以被有意放在由不同存儲(chǔ)箱組成的不同物理存儲(chǔ)池中,另外還需注意的是,備份是可以高度并行進(jìn)行的,因此即便是大型環(huán)境也無需大型備份窗口,管理員可以使用所有需要的數(shù)據(jù)放置策略,SONAS會(huì)自動(dòng)貫徹實(shí)施。
必須注意的是這是第一個(gè)版本,圖3顯示了支持的特殊協(xié)議和產(chǎn)品,IBM表示今后還會(huì)進(jìn)行大量擴(kuò)充。
圖 3 SONAS軟件架構(gòu)[NextPage]
復(fù)制是一個(gè)很好的例子,SONAS一開始就支持快照和同步復(fù)制,異步復(fù)制作為SoFS的一部分也已經(jīng)可用,目前正在進(jìn)一步進(jìn)行復(fù)制測試,預(yù)計(jì)將在2010年第3季度發(fā)布,很快就能滿足所有SONAS激進(jìn)用戶的需要了。
SONAS在大型環(huán)境中一樣表現(xiàn)得很好,在每個(gè)節(jié)點(diǎn)上都配有Tivoli存儲(chǔ)管理器客戶端,也支持賽門特克和其它第三方管理軟件。
應(yīng)對(duì)極限文件型應(yīng)用
SONAS的所有組件都是預(yù)測試和預(yù)配置的,它的軟件也是出廠就安裝好的,可以看作是一個(gè)獨(dú)立的SKU,軟件費(fèi)用是按節(jié)點(diǎn)收取的,額外的功能是無需支付費(fèi)用的,如快照功能就是免費(fèi)贈(zèng)送的。
SONAS擁有大規(guī)模存儲(chǔ)容量,最低配置是27TB,這樣的配置價(jià)格大概要6位數(shù),最大可擴(kuò)展到30個(gè)存儲(chǔ)箱,容納7200塊驅(qū)動(dòng)器,二季度總?cè)萘恳呀?jīng)翻了一倍(引入了2TB級(jí)驅(qū)動(dòng)器),達(dá)到了14.4PB。
正如前面所提到的,IBM的公共云就采用了SONAS架構(gòu),目前IBM直接在銷售,IBM合作伙伴也間接地在銷售,可想而知,有行業(yè)專長的IBM合作伙伴通過SONAS將會(huì)為用戶帶來更多價(jià)值。
因此無論你是想獨(dú)立采購SONAS產(chǎn)品還是購買IBM的公共云存儲(chǔ)服務(wù),都很方便和快捷。
SONAS和傳統(tǒng)的存儲(chǔ)產(chǎn)品有很大的不同,一個(gè)合理的文件共享環(huán)境應(yīng)該具有精細(xì)的訪問控制和安全審核的,同時(shí)要有良好的數(shù)據(jù)存放和遷移策略,最好能自動(dòng)判別和處理多種格式的存儲(chǔ)內(nèi)容,允許的話,最好有多套控制策略。
SONAS可以給銷售人員,決策者等提供豐富的支持,如降低文件冗余,除了減少磁盤空間浪費(fèi)外,還減少了查找所需文件的時(shí)間。GPFS對(duì)ILM和HSM的支持,加上細(xì)粒度的訪問控制,將會(huì)讓一個(gè)虛擬倉庫支持多種用戶和多種應(yīng)用程序。
實(shí)時(shí)信息通常是即時(shí)提交給特定目的的進(jìn)程的,可通過抽樣進(jìn)入分析和報(bào)告進(jìn)程,加上搜索等工具后,文件的使命就發(fā)生變化了,除了它本身具有意義外,還可為復(fù)用提供具有前瞻性的資源,為進(jìn)一步產(chǎn)生更有意義的信息打下堅(jiān)實(shí)的基礎(chǔ)。
一般地,數(shù)據(jù)源越多,可進(jìn)行更豐富的分析,SONAS支持業(yè)務(wù)需要的分析,在面對(duì)多種因素的情況下,可以幫助決策這更精明地做出決策。
SONAS是針對(duì)極限文件使用環(huán)境的,雖然目前還是第一代產(chǎn)品,但凡是體驗(yàn)過一代產(chǎn)品的客戶都愿意使用第二代產(chǎn)品,未來如果你遇到了文件存儲(chǔ)方面的問題,不妨考慮一下SONAS,它是一個(gè)集成的解決方案,SONAS可以滿足大部分企業(yè)想要的低成本橫向擴(kuò)展需要,如果這這一切讓你感到興奮,你應(yīng)該仔細(xì)研究一下它。