2016年3月14日,Dropbox在其博客上宣布正式撤離Amazon云服務(wù)(AWS)。在博文中,Dropbox詳細(xì)地介紹了實(shí)現(xiàn)將90%的用戶數(shù)據(jù)轉(zhuǎn)移到其自己的數(shù)據(jù)中心處理中所付出的努力。這個(gè)項(xiàng)目被起名為“Magic Pocket魔法口袋”,因?yàn)樗械墓ぷ鞫紩?huì)在這個(gè)口袋之中實(shí)現(xiàn),你可以在其中開(kāi)發(fā)軟件和硬件,以實(shí)現(xiàn)客戶的需求。
自2012年以來(lái),Dropbox已經(jīng)增長(zhǎng)了12倍。在這個(gè)時(shí)間段中,由于用戶增長(zhǎng)到五個(gè)億,所以對(duì)客戶數(shù)據(jù)存儲(chǔ)需求從40PB漲到了500PB。
歷史上,Dropbox曾使用自己數(shù)據(jù)中心的硬件和軟件處理元數(shù)據(jù),即為客戶所存儲(chǔ)的文件。其他大多數(shù)的數(shù)據(jù)存儲(chǔ)在 Amazon的Simple Storage Service(簡(jiǎn)稱為S3)上。Dropbox開(kāi)發(fā)的應(yīng)用程序就會(huì)采用這兩種數(shù)據(jù)源相結(jié)合。
Dropbox公司非常感謝 Amazon曾經(jīng)給予的幫助,使它們可以發(fā)展如此迅速,但是,為了公司未來(lái)的發(fā)展,優(yōu)化運(yùn)行其自己的數(shù)據(jù)中心可以更加有效地控制成本。Dropbox公司的基礎(chǔ)設(shè)施副總裁Akhil Gupta向大家進(jìn)一步解釋了Magic Pocket背后的基本原理:“我們做出這個(gè)決定有幾方面的考慮。首先,我們產(chǎn)品的競(jìng)爭(zhēng)決定因素是性能。在我們數(shù)據(jù)中心內(nèi)部存儲(chǔ)可以使我們從端到端自定義整個(gè)棧,因此在特定的用例下能夠提升性能。其次,作為全球領(lǐng)先的云服務(wù)提供商之一,我們的塊存儲(chǔ)與其他公司的不同。我們可以根據(jù)產(chǎn)品規(guī)模和特定的用例來(lái)使用硬件和軟件,從而提升單位經(jīng)濟(jì)效益。
Dropbox感覺(jué)他們處在一個(gè)未知的領(lǐng)域,目前世上僅有“少數(shù)幾個(gè)艾字節(jié)規(guī)模的存儲(chǔ)系統(tǒng)”。而在開(kāi)源社區(qū)中根本沒(méi)有可信賴的系統(tǒng),可提供必要的規(guī)模使它們能從頭開(kāi)始建立自己的存儲(chǔ)系統(tǒng)。公司制定的需求中,包括空閑時(shí)數(shù)據(jù)加密,數(shù)據(jù)持續(xù)性達(dá)到99.9999999999%以上,可用性超過(guò)99.99%。
2013年夏天開(kāi)始,Dropbox的一個(gè)小團(tuán)隊(duì)就開(kāi)始開(kāi)發(fā)Magic Pocket產(chǎn)品。他們的工作是基于一個(gè)小的原型,而最終他們要完成的是世上最大的存儲(chǔ)系統(tǒng)之一。大概在1年以后,2014年9月,團(tuán)隊(duì)開(kāi)始著手于“Dark Launch”,這可以讓團(tuán)隊(duì)從2個(gè)區(qū)域性位置鏡像數(shù)據(jù)。在2015年2月27日,Dropbox繼續(xù)進(jìn)行“Dark Launch”,這時(shí)他們將完全使用公司自己的基礎(chǔ)設(shè)施來(lái)存儲(chǔ)文件元數(shù)據(jù)和相關(guān)內(nèi)容。在之后的6個(gè)月中,他們將其負(fù)荷提升至500PB。Dropbox公司指定了在最后期限之前,團(tuán)隊(duì)要將90%的用戶數(shù)據(jù)轉(zhuǎn)移到自己的數(shù)據(jù)中心處理。團(tuán)隊(duì)提前完成了這個(gè)任務(wù),他們?cè)?015年10月7日達(dá)成了這個(gè)里程碑。
至于剩下10%的用戶數(shù)據(jù),Dropbox仍將與Amazon合作。比如在歐洲,Dropbox在歐洲的發(fā)展不太穩(wěn)定,并且根據(jù)當(dāng)?shù)氐碾[私權(quán)法,是不允許在內(nèi)部托管用戶數(shù)據(jù)的。Gupta特別說(shuō)明了其中的一個(gè)例子:“我們將繼續(xù)投資于我們自己的基礎(chǔ)設(shè)施建設(shè),同時(shí)還將與Amazon在一些特定的區(qū)域合作,以實(shí)現(xiàn)我們產(chǎn)品的全球化。在今年的晚些時(shí)候,我們將與AWS進(jìn)一步合作,實(shí)現(xiàn)將歐洲商業(yè)客戶的數(shù)據(jù)存儲(chǔ)在德國(guó)。我們的首要任務(wù)一直以來(lái)都是保護(hù)用戶交給我們的數(shù)據(jù)。”
Dropbox公司不是首個(gè)將數(shù)據(jù)從云端撤離建立自己的數(shù)據(jù)中心的硅谷公司。早在2012年,Zynga公司就動(dòng)用了超過(guò)100萬(wàn)美元來(lái)開(kāi)發(fā)他們自己的基礎(chǔ)設(shè)施,并逐步地將公有云數(shù)據(jù)轉(zhuǎn)移到其自己的數(shù)據(jù)中心中來(lái)。這項(xiàng)遷移進(jìn)行了大量宣傳,在當(dāng)時(shí),這是從云端撤離的典型案例。但是在2015年5月,Zynga公司又重新啟用了AWS服務(wù)。站在一個(gè)投資者的角度,CEO Mark Pincus指出“有許多板塊并不適合我們的戰(zhàn)略方針,如運(yùn)行我們自己的數(shù)據(jù)中心,所以我們把這塊工作交給Amazon。”
Dropbox公司是否會(huì)成為第二個(gè)Zynga公司,我們?nèi)匀皇媚恳源nfoQ將持續(xù)關(guān)注事態(tài)進(jìn)展,并給出新的報(bào)道。
查看英文原文:Dropbox Develops Magic Pocket, Moves Away From AWS