軟件離不開(kāi)硬件的效率,硬件離不開(kāi)軟件的調(diào)度,他們是相互依存的關(guān)系,在5月剛剛結(jié)束的第六屆中國(guó)云計(jì)算大會(huì)上,PMC“數(shù)據(jù)中的融合架構(gòu)和存儲(chǔ)”專(zhuān)題論壇中,PMC公司研發(fā)副總裁兼首席科學(xué)家廖恒調(diào)侃的將這種關(guān)系比擬成是夫妻關(guān)系。是的,在軟件定義的時(shí)代,無(wú)疑催生給硬件廠商更多發(fā)展的可能性,在這其中,數(shù)據(jù)中心也將經(jīng)歷著自身的不斷蛻變。
數(shù)據(jù)中心的融合架構(gòu)與存儲(chǔ)論壇上PMC展示的產(chǎn)品
PMC :I/O解耦合探尋未來(lái)數(shù)據(jù)中心出路
中國(guó)憑借巨大的人口受眾以及非常強(qiáng)有力的經(jīng)濟(jì)發(fā)展還有互聯(lián)網(wǎng)領(lǐng)域的創(chuàng)新,在大數(shù)據(jù)時(shí)代已經(jīng)占領(lǐng)了獨(dú)領(lǐng)風(fēng)騷的地位,甚至在存儲(chǔ)領(lǐng)域,PMC副總裁兼存儲(chǔ)事業(yè)部總經(jīng)理Travis Karr表示,中國(guó)存儲(chǔ)銷(xiāo)售量已經(jīng)逐漸超過(guò)美國(guó),成為全球第一大市場(chǎng)。在此基礎(chǔ)上,不僅需要技術(shù)規(guī)模的生產(chǎn),還需要不斷的創(chuàng)新,才能滿(mǎn)足中國(guó)爆炸式的數(shù)據(jù)存儲(chǔ)的需求。
例如在互聯(lián)網(wǎng)的時(shí)代,基于對(duì)供應(yīng)鏈,尤其是硬件供應(yīng)鏈的一些變化,需要不斷的根據(jù)應(yīng)用去做定制化,根據(jù)實(shí)際需求來(lái)動(dòng)態(tài)調(diào)整,對(duì)硬件設(shè)備的形態(tài),要快速的反映、部署,來(lái)解決存儲(chǔ)的容量爆炸式的增長(zhǎng),數(shù)據(jù)種類(lèi)的多樣,和數(shù)據(jù)訪問(wèn)速度等等問(wèn)題。而對(duì)于包括企業(yè)存儲(chǔ)、工業(yè)標(biāo)準(zhǔn)服務(wù)器和超大規(guī)模數(shù)據(jù)中心三大類(lèi)型客戶(hù)的PMC來(lái)說(shuō),這更是他們亟待解決的問(wèn)題。
PMC公司副總裁兼存儲(chǔ)產(chǎn)品事業(yè)部總經(jīng)理Travis Karr發(fā)表演講
應(yīng)對(duì)大數(shù)據(jù)的洪流,Travis Karr表示縱觀創(chuàng)新方面, PMC著重發(fā)展在以下幾個(gè)方面:在傳統(tǒng)的存儲(chǔ)部件中采用模塊化設(shè)計(jì)、閃存技術(shù)、存儲(chǔ)和I/O解耦合以及數(shù)據(jù)中心之間超高寬帶長(zhǎng)距離傳輸?shù)膯?wèn)題。
對(duì)于存儲(chǔ)解耦合,無(wú)疑是為了提高系統(tǒng)總體架構(gòu)的靈活性,通過(guò)動(dòng)態(tài)的調(diào)配服務(wù)器CPU和存儲(chǔ),不管是容量,或者是存儲(chǔ)速度之間的比例適配應(yīng)用的需求,從而提高硬件資源利用效率,簡(jiǎn)化服務(wù)器設(shè)計(jì)。
阿里巴巴:數(shù)據(jù)中心靠融合解困管理開(kāi)銷(xiāo)成本
同樣苦于數(shù)據(jù)爆炸增長(zhǎng)的還有阿里巴巴,尤其是在每年雙十一期間的大量數(shù)據(jù)積累,不難看出,在這其后他應(yīng)該更具有發(fā)言權(quán)。阿里巴巴集團(tuán)資深硬件工程師牛功彪表示阿里巴巴從互聯(lián)網(wǎng)運(yùn)營(yíng)上積累的數(shù)據(jù)存量越來(lái)越大了,去年數(shù)據(jù)量已達(dá)100P左右,其實(shí)一個(gè)大的挑戰(zhàn)就是管理成本的提高。
包括后端,前端、后端采購(gòu),或者機(jī)型的管理,以及對(duì)于開(kāi)發(fā)或者性能廠商都會(huì)面對(duì)非常大的開(kāi)銷(xiāo),都是面臨的實(shí)際問(wèn)題。對(duì)此阿里巴巴提出的解決方案是融合,不管是設(shè)備的管理,還是使用問(wèn)題。
資源解耦與存儲(chǔ)池化,是現(xiàn)在阿里巴巴所在做的,主要將存儲(chǔ)和計(jì)算解耦掉或者存儲(chǔ)池化。牛功彪表示從數(shù)據(jù)傳輸角度來(lái)看,解耦以后需要加快傳輸數(shù)據(jù),而之前存儲(chǔ)和計(jì)算路徑很短,這樣能保證數(shù)據(jù)的傳輸性或者數(shù)據(jù)完整性。而現(xiàn)在距離變長(zhǎng)了,傳輸介質(zhì)這部分,阿里巴巴目前更傾向于硅光,在傳輸可靠性、傳輸?shù)木嚯x上,都能滿(mǎn)足需求。
通過(guò)這種方法,可以把各資源有效的融合起來(lái),借助軟件提高存儲(chǔ)的利用率,以及計(jì)算節(jié)點(diǎn)的利用率,此外它的易擴(kuò)展,也方便資源的調(diào)度。
OCP創(chuàng)始成員: 糾錯(cuò)編碼幫助數(shù)據(jù)中心“勒緊錢(qián)包”
此次論壇不僅請(qǐng)來(lái)了國(guó)內(nèi)知名互聯(lián)網(wǎng)巨頭,更有北美優(yōu)秀的數(shù)據(jù)中心經(jīng)驗(yàn)供分享。OCP的創(chuàng)始成員Per Brashers在一年前離開(kāi)了Facebook,成立了Yttibrium,在Facebook期間,他主導(dǎo)了存儲(chǔ)相關(guān)結(jié)構(gòu)的設(shè)計(jì)。
Open Vault & OCP Cold Storage 發(fā)明者,前Facebook的存儲(chǔ)負(fù)責(zé)人,Yittibrium的創(chuàng)始人Per Brashers 發(fā)表演講
總結(jié)OCP的設(shè)計(jì)理念,Per Brashers概述為把數(shù)據(jù)中心的每一個(gè)構(gòu)成部件,以及整體成本當(dāng)中的權(quán)重做了一個(gè)羅列,并且對(duì)每一個(gè)部件的設(shè)計(jì)理念進(jìn)行優(yōu)化采取的措施,以及對(duì)設(shè)備投資,運(yùn)維成本帶來(lái)的比例。
而這無(wú)非就是希望能夠最大程度的節(jié)約運(yùn)營(yíng)成本,其實(shí)也就是數(shù)據(jù)中心的效率,這當(dāng)然還是基于成本的考量。通過(guò)改善數(shù)據(jù)中心的設(shè)計(jì),可以得到30%TCO的下降,這直接就是降低了整個(gè)公司的運(yùn)營(yíng)成本。怎么樣實(shí)現(xiàn)這樣的效率提升呢?一個(gè)非常綜合的設(shè)計(jì),通常包括改造服務(wù)器架構(gòu),設(shè)計(jì)高密度的服務(wù)器,在小空間加入內(nèi)更多盤(pán)片的連接。
對(duì)此,Per Brashers提出了他關(guān)于數(shù)據(jù)中心內(nèi)數(shù)據(jù)保護(hù)問(wèn)題的新觀點(diǎn)。過(guò)去通常是3個(gè)備份的實(shí)現(xiàn)方式,為了讓一個(gè)數(shù)據(jù)非常可靠,除了本地存一份,機(jī)架存一倍,跨越機(jī)架存第三份。這就需要三個(gè)倍份的存儲(chǔ)容量,帶來(lái)高成本。而糾錯(cuò)編碼在一定程度上就能解決該問(wèn)題,每個(gè)數(shù)據(jù)需要10份,然后再分出兩份糾錯(cuò)編碼,把12份數(shù)據(jù)打散分布在不同的節(jié)點(diǎn)。這樣開(kāi)銷(xiāo)只有1.2倍,大大節(jié)省了成本。
這就好像是軟硬件的紛爭(zhēng),其實(shí)關(guān)鍵因素都是把效率的理念貫穿其中。基礎(chǔ)設(shè)施設(shè)計(jì)理念就是一個(gè)持久性的驅(qū)動(dòng)力,而進(jìn)一步的體系結(jié)構(gòu)可能是軟件,可能是硬件,或者是二者相結(jié)合,最終降低TCO。