Amazon Web Services將要推出一項(xiàng)給傳統(tǒng)IT廠商帶來(lái)“破壞性”影響的大數(shù)據(jù)服務(wù)。根據(jù)我們從Amazon網(wǎng)站上的招聘信息,這個(gè)尚未命名的產(chǎn)品將運(yùn)行在AWS Data Services(一個(gè)內(nèi)部的云產(chǎn)品團(tuán)隊(duì),也負(fù)責(zé) AWS Data Pipeline、AWS RDS和AWS RedShift等產(chǎn)品)之上。
“如果你很希望搭建一個(gè)能夠應(yīng)對(duì)EB級(jí)數(shù)據(jù)的分布式系統(tǒng),那么這將是一份理想的工作。”
“成功的支持工程師將在搭建、操作和擴(kuò)展一個(gè)大規(guī)模近實(shí)時(shí)的分布式系統(tǒng)方面起到相當(dāng)重要的作用。”
根據(jù)Amazon對(duì)產(chǎn)品名縮寫的愛(ài)好,我們暫且把這個(gè)產(chǎn)品稱之為Mystery-Amazon-Data-Service,或者M(jìn)ADS。
它的功能將包括“以接近實(shí)時(shí)的方式對(duì)于數(shù)據(jù)進(jìn)行高度可用、高度可靠的處理”。從職位的描述中我們還得到其他信息,比如初期它可以每秒鐘接收200萬(wàn)到500萬(wàn)條記錄,最終這個(gè)量將增加100多倍。
招聘的這個(gè)職位要求具有在分布式系統(tǒng)、分布式鎖定、復(fù)制和負(fù)載均衡方面的工作經(jīng)驗(yàn)。
這說(shuō)明MADS將是某種近實(shí)時(shí)的分析數(shù)據(jù)庫(kù)。分布式鎖定和復(fù)制,這暗示著MADS將能夠廣泛復(fù)制數(shù)據(jù),而避免了分布式鎖定系統(tǒng)的延遲問(wèn)題。
因?yàn)樾畔⒗锩鞔_寫了“記錄”,所以我們可以猜測(cè)它是接收來(lái)自關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)。
這暗示著是在具有相當(dāng)于Google分布式數(shù)據(jù)庫(kù)、或者AWS合作伙伴TransLattice地域性可復(fù)制數(shù)據(jù)庫(kù)技術(shù)類似功能的系統(tǒng)。
MADS也許是Amazon應(yīng)對(duì)ParAccel某些缺點(diǎn)的辦法,因?yàn)镻arAccel很難以低成本處理少量的寫入。MADS能夠創(chuàng)建一個(gè)緩沖數(shù)據(jù)庫(kù),讓客戶容易地復(fù)制OLTP數(shù)據(jù)庫(kù)直接到Redshift,而不用批量加載。
這也是和EB級(jí)數(shù)據(jù)接收規(guī)范是符合的。
另外,Amazon可能會(huì)嘗試使用MAD運(yùn)行一個(gè)全局?jǐn)?shù)據(jù)庫(kù)即服務(wù)技術(shù),用于大規(guī)模分布式低延遲的數(shù)據(jù)存儲(chǔ)和處理,有一系列從在線支付到游戲的各種應(yīng)用。
不管怎樣,看上去離MADS面世還有一段時(shí)間,因?yàn)檎衅感畔⒗锩鎸懙肋@個(gè)還處于早期。這個(gè)“系統(tǒng)工程師”在最初的12個(gè)月內(nèi)可以做以下一些事情:定義系統(tǒng)的結(jié)構(gòu),寫入基礎(chǔ)架構(gòu)管理工具,“參與到大型分布式系統(tǒng)開(kāi)發(fā)的所有階段”,管理數(shù)據(jù)中心設(shè)備,執(zhí)行各種日常管理員工作。
換句話說(shuō),Amazon內(nèi)部有很多人才具有某種架構(gòu)技能,現(xiàn)在他們需要引入更多的架構(gòu)師、工程師和開(kāi)發(fā)者來(lái)將MADS系統(tǒng)變成現(xiàn)實(shí)。
AWS還有可以幫助管理員規(guī)劃和在各種服務(wù)之間遷移數(shù)據(jù)的AWS Data Pipeline、用于數(shù)據(jù)倉(cāng)庫(kù)的AWS Redshift、采用NoSQL SSD的DynamoDB以及Relational Database Service (RDS),MADS屬于哪一個(gè)?
我們認(rèn)為,MADS使得Amazon能夠搭建將上面所有組件連接到一起、幫助自動(dòng)傳遞數(shù)據(jù)的服務(wù)。它還有可能變成一款獨(dú)立的產(chǎn)品,類似于TransLattice和Google Spanner。
這符合Amazon的總體業(yè)務(wù)策略:更自己云產(chǎn)品之間的聯(lián)系更加緊密,嘗試部署由競(jìng)爭(zhēng)對(duì)手或者合作伙伴所領(lǐng)先的技術(shù)系統(tǒng),然后推出相關(guān)產(chǎn)品,要么免費(fèi)(例如OpsWorks),要么以很低的價(jià)格,Amazon非常擅長(zhǎng)打價(jià)格戰(zhàn)。
相信傳統(tǒng)IT廠商將熱烈歡迎Amazon在這個(gè)領(lǐng)域的野心……