數(shù)據(jù)的量級(jí)規(guī)模需要相應(yīng)的存儲(chǔ)技術(shù)解決方案來(lái)支撐,解決方案的能力體現(xiàn)為數(shù)據(jù)容量、數(shù)據(jù)處理速度和數(shù)據(jù)吞吐速率等指標(biāo)。
從傳統(tǒng)存儲(chǔ)走向分布式存儲(chǔ)
傳統(tǒng)上,運(yùn)營(yíng)商采用關(guān)系數(shù)據(jù)庫(kù)(RDB)或數(shù)據(jù)倉(cāng)庫(kù)(DW),主要處理電信業(yè)務(wù)運(yùn)營(yíng)過(guò)程數(shù)據(jù)、資源信息、話單記錄等結(jié)構(gòu)化的數(shù)據(jù)類型。對(duì)于核心業(yè)務(wù),一般的數(shù)據(jù)容量在20TB量級(jí),吞吐速率IOPS在20K~2M量級(jí);對(duì)于非核心業(yè)務(wù),數(shù)據(jù)容量可能達(dá)到3PB,吞吐速率IOPS達(dá)到1K~10K量級(jí)。傳統(tǒng)的存儲(chǔ)服務(wù)器采用2~16個(gè)控制器加上最大1500塊硬盤的配置,是可以滿足這種量級(jí)的關(guān)系型數(shù)據(jù)庫(kù)應(yīng)用需求的。
在移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)業(yè)務(wù)崛起之后,原有的這些結(jié)構(gòu)化數(shù)據(jù)在全部數(shù)據(jù)量中所占的比例迅速降低。運(yùn)營(yíng)商經(jīng)常會(huì)看到,80%以上的新增數(shù)據(jù)都是視頻流、網(wǎng)頁(yè)鏈接、圖片、文本等非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù),也就是如今眾所周知的“大數(shù)據(jù)”。對(duì)于運(yùn)營(yíng)商來(lái)說(shuō),大數(shù)據(jù)蘊(yùn)含著眾多的增值業(yè)務(wù)創(chuàng)新機(jī)會(huì)。但要利用大數(shù)據(jù)實(shí)現(xiàn)業(yè)務(wù)創(chuàng)新,必須重新審視存儲(chǔ)解決方案。
如果沿用傳統(tǒng)的SAN方案,采用專用存儲(chǔ)服務(wù)器來(lái)應(yīng)對(duì)數(shù)據(jù)擴(kuò)容的話,需要付出高額的前期投資;而且垂直化的專用存儲(chǔ)管理軟件,難以讓不同的子系統(tǒng)之間共享存儲(chǔ)資源,從而降低了運(yùn)營(yíng)商的投資回報(bào)率。分布式存儲(chǔ)的引入,能夠很好地解決傳統(tǒng)SAN難以根除的容量和性能均衡分布的難題。
此外,不同類型的數(shù)據(jù)被訪問(wèn)或被處理的“熱度”是不一樣的,大量的“冷”數(shù)據(jù)并不需要很高的響應(yīng)速度,如果采用可擴(kuò)展性更靈活的廉價(jià)存儲(chǔ)方案,能夠使運(yùn)營(yíng)商節(jié)省大量的設(shè)備投資成本。在分布式存儲(chǔ)系統(tǒng)中,數(shù)據(jù)類型按照數(shù)據(jù)的使用“熱度”,可以分為在線、近線、離線數(shù)據(jù),對(duì)不同熱度的數(shù)據(jù)采取不同的技術(shù)策略。
對(duì)于擁有龐大用戶數(shù)量的通信網(wǎng)絡(luò)運(yùn)營(yíng)商來(lái)說(shuō),其數(shù)據(jù)的“產(chǎn)量”一直都很大。電信業(yè)的數(shù)據(jù)類型,主要包括客戶信息數(shù)據(jù)、業(yè)務(wù)過(guò)程數(shù)據(jù)、網(wǎng)絡(luò)運(yùn)行數(shù)據(jù)。數(shù)據(jù)的量級(jí)規(guī)模需要相應(yīng)的存儲(chǔ)技術(shù)解決方案來(lái)支撐,解決方案的能力體現(xiàn)為數(shù)據(jù)容量、數(shù)據(jù)處理速度和數(shù)據(jù)吞吐速率等指標(biāo)。
要利用大數(shù)據(jù)實(shí)現(xiàn)業(yè)務(wù)創(chuàng)新,必須重新審視存儲(chǔ)解決方案。如果沿用傳統(tǒng)的SAN方案,采用專用存儲(chǔ)服務(wù)器來(lái)應(yīng)對(duì)數(shù)據(jù)擴(kuò)容的話,需要付出高額的前期投資;而且垂直化的專用存儲(chǔ)管理軟件,難以讓不同的子系統(tǒng)之間共享存儲(chǔ)資源,從而降低了運(yùn)營(yíng)商的投資回報(bào)率。分布式存儲(chǔ)的引入,能夠很好地解決傳統(tǒng)SAN難以根除的容量和性能均衡分布的難題。典型的分布式存儲(chǔ)系統(tǒng),采用1~2U的存儲(chǔ)服務(wù)器,每臺(tái)服務(wù)器帶有8~24塊硬盤,在標(biāo)準(zhǔn)的服務(wù)器機(jī)架上很容易實(shí)現(xiàn)性能和容量的擴(kuò)展,維護(hù)也非常簡(jiǎn)單。
分布式存儲(chǔ)的發(fā)展預(yù)示著存儲(chǔ)從專有系統(tǒng)逐漸向開(kāi)放系統(tǒng)演進(jìn)。一個(gè)完整的系統(tǒng),從底層往上層大致可分為芯片、硬件、操作系統(tǒng)和軟件、API、管理系統(tǒng)這幾個(gè)層次。傳統(tǒng)存儲(chǔ)系統(tǒng)中的芯片和硬件是為存儲(chǔ)功能而定制化的,硬件中的ASIC/FPGA是為特定的簡(jiǎn)單重復(fù)性功能而設(shè)計(jì),優(yōu)點(diǎn)是速度快、效率高,缺點(diǎn)是計(jì)算能力弱,單一硬件模塊無(wú)法應(yīng)對(duì)多種任務(wù),而要為整個(gè)系統(tǒng)中的眾多任務(wù)都設(shè)計(jì)單獨(dú)的專用硬件則復(fù)雜度過(guò)高。
基于通用的標(biāo)準(zhǔn)化商用硬件平臺(tái),在軟件堆棧中加入不同的軟件功能,利用通用平臺(tái)的計(jì)算能力來(lái)替代專用電路,這就是“軟件定義的存儲(chǔ)”??焖俑碌腦86硬件產(chǎn)品具備了越來(lái)越強(qiáng)大的計(jì)算能力,能夠支持的軟件功能也越來(lái)越強(qiáng)大,這使得存儲(chǔ)和計(jì)算的傳統(tǒng)功能邊界變得模糊,基于標(biāo)準(zhǔn)化硬件平臺(tái)的“融合式存儲(chǔ)服務(wù)器”逐漸取代定制化芯片和定制化硬件成為大勢(shì)所趨。
底層硬件平臺(tái)成為標(biāo)準(zhǔn)化之后,相應(yīng)地,其上的操作系統(tǒng)和軟件層也將從專有系統(tǒng)過(guò)渡到開(kāi)放或半開(kāi)放系統(tǒng)。未來(lái)的存儲(chǔ)系統(tǒng),可能除了部分中間件仍然使用專有軟件外,用戶將會(huì)越來(lái)越多地選擇開(kāi)放的操作系統(tǒng)、開(kāi)放的API、以及開(kāi)放的管理系統(tǒng)。
英特爾以新產(chǎn)品線迎合存儲(chǔ)新趨勢(shì)
最近英特爾推出的單芯片系統(tǒng)(SoC)C2000系列,主要定位于微型服務(wù)器市場(chǎng),它的一個(gè)重要應(yīng)用場(chǎng)景就是應(yīng)對(duì)不斷增長(zhǎng)的“冷數(shù)據(jù)”存儲(chǔ)市場(chǎng)需求。Avoton是業(yè)界首次采用22納米制程工藝制造的微型服務(wù)器。其熱設(shè)計(jì)功耗(TDP)為6~22瓦,包含8個(gè)低功耗的“凌動(dòng)”內(nèi)核,集成以太網(wǎng)并支持最高達(dá)64GB的內(nèi)存。
Avoton針對(duì)特定的輕量型工作負(fù)載進(jìn)行了特性定制和優(yōu)化,如入門級(jí)專用托管服務(wù)、分布式內(nèi)存緩存、靜態(tài)網(wǎng)絡(luò)服務(wù)、內(nèi)容分發(fā)等,以實(shí)現(xiàn)最佳效率。Avoton的亮相,使得英特爾除了傳統(tǒng)的高性能“至強(qiáng)”平臺(tái)之外,又擁有了一個(gè)新利器來(lái)助推軟件定義存儲(chǔ)的大趨勢(shì)。我們很快會(huì)看到,未來(lái)數(shù)據(jù)中心的新存儲(chǔ)系統(tǒng)將以更高的性價(jià)比來(lái)構(gòu)建,并實(shí)現(xiàn)更高的能效水平。