大規(guī)模數(shù)據(jù)備份保護(hù)現(xiàn)狀

從多備份目前10萬多用戶中發(fā)掘的大型客戶看，業(yè)務(wù)規(guī)模稍微大一點(diǎn)，日志，DB歸檔，在線編輯，生產(chǎn)加工產(chǎn)生的數(shù)據(jù)，設(shè)計(jì)類文檔，及日常運(yùn)營的累積的數(shù)據(jù)等就輕松超過TB級(jí)。而對(duì)于TB級(jí)數(shù)據(jù)，有幾種場(chǎng)景定義和區(qū)別：

單個(gè)節(jié)點(diǎn)的數(shù)據(jù)量上TB級(jí)

總量上TB級(jí)，但分布在多個(gè)節(jié)點(diǎn)

總量上TB，但單個(gè)文件量上百GB

總量上TB, 文件數(shù)規(guī)模很大，上萬千，甚至過億

總量上TB，類型不一樣，有的是DB備份后的壓縮文件，有的是圖片，有的是文檔類

TB級(jí)數(shù)據(jù)是用戶產(chǎn)生，從用戶中來，到用戶中去，比如視頻，圖片等UGC內(nèi)容，對(duì)于這類冷的數(shù)據(jù)，逐步也需要進(jìn)行歸檔冷備起來

對(duì)于目前以上6種情況，我們了解到，絕大部分企業(yè)，并沒有做比較系統(tǒng)的保護(hù)，或者說做了系統(tǒng)的保護(hù)，但都是在本地環(huán)境做的，一旦遇到人為原因，軟件缺陷，或者存儲(chǔ)故障等，數(shù)據(jù)丟失的風(fēng)險(xiǎn)相當(dāng)大； 有相當(dāng)能力的，自己做了異地或自己做云存儲(chǔ)備份方案，但在靈活，系統(tǒng)化的，擴(kuò)展性，成本方面并沒有優(yōu)勢(shì)，畢竟對(duì)企業(yè)來說這不是核心運(yùn)營的業(yè)務(wù)。

目前市面上的一些現(xiàn)有解決方案的特點(diǎn)：

策略一般就是全量+增量結(jié)合，選用專用的存儲(chǔ)設(shè)備，接上高速的光纖通道，配上專用的系統(tǒng)維護(hù)人員，這類方案在本地有足夠的優(yōu)勢(shì)，備份和恢復(fù)快，但缺點(diǎn)也是相當(dāng)?shù)拿黠@，而且從設(shè)計(jì)理念上來看，以下的幾個(gè)點(diǎn)基本只有廠家自己革命才能解決：

第1：復(fù)雜，配置、部署以及使用操作維護(hù)都需要專業(yè)的管理人員，基本上在互聯(lián)網(wǎng)企業(yè)看，即使是做完B/C/D輪的，甚至IPO后的企業(yè)，出得起錢，也是不會(huì)考慮如此方案。

第2：升級(jí)擴(kuò)展復(fù)雜，預(yù)先估計(jì)容量，后續(xù)擴(kuò)展起來相當(dāng)麻煩，必須的改變存儲(chǔ)策略，或重新離線做數(shù)據(jù)遷移分布。如果初始購買的存儲(chǔ)擴(kuò)展有限，后期還不能很好的升級(jí)擴(kuò)展。

第3：3-5年左右的生命周期，也就是說，數(shù)據(jù)經(jīng)過幾年后，改造升級(jí)，購買新的方案是必須的，這樣當(dāng)數(shù)據(jù)上到百TB級(jí)別，整個(gè)工程實(shí)施也是相當(dāng)復(fù)雜了。

第4：難于對(duì)接互聯(lián)網(wǎng)+的思路轉(zhuǎn)換， 由于是離線的備份存儲(chǔ)方案，如果和業(yè)務(wù)系統(tǒng)對(duì)接，實(shí)際上基本上就是不太可能，尤其是目前不少企業(yè)開始加強(qiáng)互聯(lián)網(wǎng)+的運(yùn)營思路的調(diào)整，數(shù)據(jù)不斷會(huì)和外部系統(tǒng)進(jìn)行交換或?qū)印?/p>

第5：貴，特別的貴，如果對(duì)原始TB級(jí)數(shù)據(jù)做專業(yè)備份保護(hù)，投入得數(shù)十萬，具體到不同的行業(yè)，性能和保護(hù)窗口參數(shù)稍微提升，投入立即上升到百萬級(jí)。

當(dāng)然如果對(duì)于非常有資源和有足夠多的預(yù)算，這一切都看起來都不是問題；而事實(shí)上，這類用戶還是只有在相當(dāng)土豪的機(jī)構(gòu)和企業(yè)里面才有，就連銀行都無法徹底按照嚴(yán)謹(jǐn)?shù)膶?shí)施和維護(hù)方案落實(shí)，才會(huì)出現(xiàn)接二連三的銀行機(jī)房燒毀數(shù)據(jù)丟失，或者宕機(jī)幾十個(gè)小時(shí)的情況。

終歸原因，對(duì)于關(guān)鍵的業(yè)務(wù)系統(tǒng)的備份保護(hù)，不緊緊是上了一套專業(yè)的方案，或者做了異地災(zāi)備，事情就可以完美解決；更重要的是，還得有操作簡單，容易驗(yàn)證，應(yīng)急性強(qiáng)的方案。

解決思路

多備份從2013年成立以來，一直以互聯(lián)網(wǎng)的簡單、親民的服務(wù)化思路演化，目前服務(wù)過的客戶，包括GB級(jí)的到TB級(jí)，涉及到關(guān)鍵運(yùn)營業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫，也包含企業(yè)日常運(yùn)營產(chǎn)生的文檔資料存儲(chǔ)備份保護(hù)等。經(jīng)過上PB級(jí)的數(shù)據(jù)訓(xùn)練，多備份從第1代全云的架構(gòu)方案，到目前迭代的到最新的第2代基于混合云架構(gòu)的保護(hù)方案。

第2代方案設(shè)計(jì)的目標(biāo)主要面向TB級(jí)數(shù)據(jù)保護(hù)需求，徹底切分TB級(jí)數(shù)據(jù)6個(gè)構(gòu)成面，并主要分解為如下幾個(gè)點(diǎn)：

最大化降低備份存儲(chǔ)空間，數(shù)倍降低企業(yè)TCO投入

簡化使用門檻，包括配置流程，以及保護(hù)策略

數(shù)據(jù)備份和恢復(fù)的速度要在基于云的架構(gòu)下，足夠的快

按需在線擴(kuò)展，永不停機(jī)，足夠可靠

支持?jǐn)?shù)據(jù)按需流動(dòng)，真正意義讓數(shù)據(jù)在必要的時(shí)候，能動(dòng)起來

僅由客戶全程加密掌控?cái)?shù)據(jù)，充分保護(hù)數(shù)據(jù)隱私

基于以上6個(gè)設(shè)計(jì)目標(biāo)，我們從幾個(gè)方面來剖析多備份是如何做到的

以云為核心，外網(wǎng)IT存儲(chǔ)設(shè)施混合的本地+云的混合設(shè)計(jì)模型

　　首先，多備份整體架構(gòu)，圍繞云來設(shè)計(jì)，充分利用云的幾個(gè)特點(diǎn)

按需擴(kuò)展，對(duì)客戶，對(duì)多備份自身服務(wù)的投入按需增加

可靠，云的計(jì)算和存儲(chǔ)分布特點(diǎn)，使得系統(tǒng)在計(jì)算和存儲(chǔ)都具備傳統(tǒng)結(jié)構(gòu)不具備的數(shù)倍的可靠性

安全，基礎(chǔ)云服務(wù)商自身在安全方面不計(jì)成本，比起自己構(gòu)建IT設(shè)施，來得更加專業(yè)

擴(kuò)展，開放性更好，使得構(gòu)建的服務(wù)，更容易外部系統(tǒng)對(duì)接

目前在具體的基礎(chǔ)實(shí)施平臺(tái)中，重點(diǎn)包括阿里云，騰訊云，AWS，金山云，微軟AZURE，移動(dòng)云，七牛，百度云等平臺(tái)，這些都是全球或國內(nèi)知名的大型云平臺(tái)。

其次，為了更好融合企業(yè)IT場(chǎng)景，以及一些合規(guī)規(guī)定，多備份在第1代云的基礎(chǔ)上，增加了外圍對(duì)接，支持?jǐn)?shù)據(jù)備份存儲(chǔ)在本地環(huán)境的存儲(chǔ)設(shè)施，如NAS, SAN 或者節(jié)點(diǎn)的另外的磁盤分區(qū)等，這樣一來有3個(gè)好處：

數(shù)據(jù)可以在本地存儲(chǔ)一份，特別是熱一點(diǎn)的數(shù)據(jù)， 其他數(shù)據(jù)可以部分或者全部上云進(jìn)行備份保護(hù)起來

常規(guī)的備份和恢復(fù)任務(wù)的會(huì)第1時(shí)間在本地環(huán)境完成，數(shù)據(jù)會(huì)在本地完成后，最快的時(shí)間同步上云

一些政企合規(guī)的數(shù)據(jù)可以保存在內(nèi)部，其他的非敏感類的數(shù)據(jù)可以加密上云。

數(shù)據(jù)發(fā)現(xiàn)，傳輸，存儲(chǔ)等全部采用全增量+時(shí)間點(diǎn)版本映射結(jié)構(gòu)設(shè)計(jì)

具備時(shí)間刻度特性的，本地和云兩級(jí)全增量索引

為了實(shí)現(xiàn)更低的存儲(chǔ)開銷，更快的備份和恢復(fù)速度，多備份從索引的設(shè)計(jì)，數(shù)據(jù)版本組織策略上都采用全增量模型，并且支持任意時(shí)間點(diǎn)的版本和索引的映射，這樣就為任一時(shí)間點(diǎn)的數(shù)據(jù)恢復(fù)或下載等提供了可行支持。

索引是構(gòu)成整個(gè)系統(tǒng)的關(guān)鍵，數(shù)據(jù)的變化，無論從本地往云，還是從云往本地，都以來索引來快速找到對(duì)應(yīng)的數(shù)據(jù)塊。而傳統(tǒng)的方案里面，索引也存在。多備份的特點(diǎn)在于，結(jié)合了云以后，索引全部采用分區(qū)分段構(gòu)建云索引中心的擴(kuò)展模型，在量級(jí)，動(dòng)態(tài)遷移是傳統(tǒng)的方案無法比較的。理論上，客戶越多，數(shù)據(jù)越大，邊際效應(yīng)就越好，給客戶回饋的成本優(yōu)勢(shì)就更越明顯。

在這里，本地的索引用來快速支持?jǐn)?shù)據(jù)的變化檢查，云端的索引用于本地失效后的變化檢測(cè)，以及在線數(shù)據(jù)服務(wù)接口的支持。

在每一次的數(shù)據(jù)備份時(shí)刻，都會(huì)記錄相應(yīng)的數(shù)據(jù)映射關(guān)系，這樣可以滿足任意時(shí)間點(diǎn)的數(shù)據(jù)恢復(fù)和使用檢索需求。

按照目前的設(shè)計(jì)，在本地可以支持2TB的數(shù)據(jù)索引關(guān)系，支持的數(shù)據(jù)量可以到達(dá)PB級(jí)，文檔(含數(shù)據(jù)庫備份壓縮備份歸檔數(shù)據(jù)文件)數(shù)量可以到達(dá)十億級(jí)別規(guī)模。而在云上集中的存儲(chǔ)規(guī)模理論上受限于云平臺(tái)本身的存儲(chǔ)容量，幸運(yùn)的是，即使在這一刻，多備份也可以正常運(yùn)行，原因在于，多備份底層已經(jīng)支持多個(gè)云的分布或聚合。

本地+云兩級(jí)全增量策略保護(hù)模型，更快，更省的本性

多備份在數(shù)據(jù)策略化組織這里全部采用增量模型，與傳統(tǒng)的定期全量+增量模型在存儲(chǔ)空間和效率方面有著顯著的區(qū)別。一般原始數(shù)據(jù)在500GB規(guī)模的，按照通常的服務(wù)溝通模型下來，3個(gè)月下來也得有10TB級(jí)規(guī)模了，如果采用傳統(tǒng)的方案，成本將到達(dá)百萬級(jí)投入規(guī)模。

多備份依托于云存儲(chǔ)的冗余分布特性，在時(shí)間和空間分布的可靠性方面已經(jīng)遠(yuǎn)遠(yuǎn)大于本地存儲(chǔ)。正因?yàn)槿绱耍鄠浞莸脑隽總浞荽鎯?chǔ)策略機(jī)制在保持最小的數(shù)據(jù)開銷規(guī)模下，每次的備份效率都出奇的高，同樣，按照時(shí)間點(diǎn)任意恢復(fù)數(shù)據(jù)的時(shí)候速度也相當(dāng)快。

同樣，由于其邊掃描邊備份，實(shí)時(shí)增量檢測(cè)，塊級(jí)存儲(chǔ)的增量特性，以及壓縮策略智能化，單個(gè)幾百GB規(guī)模的文件，文本和圖片視頻，還是在數(shù)量眾多的千萬級(jí)規(guī)模下都可以勝任。

基于云的兩級(jí)增量模型最大的好處就是在TB級(jí)數(shù)據(jù)規(guī)模下，具備超低投入，甚至低至傳統(tǒng)方案的1/10 TCO，高速度；同樣，具備時(shí)間刻度恢復(fù)的特點(diǎn)、

端到端AES256加密機(jī)制，與Cloud 5分塊算術(shù)冗余分布機(jī)制，讓數(shù)據(jù)足夠的安全與可靠

在多備份的整個(gè)體系設(shè)計(jì)中，安全是從端到后臺(tái)，整體設(shè)計(jì)全程考慮，不打折扣，嚴(yán)格從機(jī)制上保證數(shù)據(jù)上云的機(jī)密性。

數(shù)據(jù)從客戶端接入數(shù)據(jù)后，立即進(jìn)行AES256加密，加密后的數(shù)據(jù)分布在云存儲(chǔ)中，而加密用的密鑰則是在安裝過程中，由客戶端產(chǎn)生并有客戶自己保存下來。對(duì)于特別要求可靠的數(shù)據(jù)，Cloud 5技術(shù)可以在保持2倍的成本投入下，進(jìn)一步在多個(gè)不同種類的云存儲(chǔ)，或者單個(gè)云的多個(gè)存儲(chǔ)中心之間提高備份數(shù)據(jù)可靠性，幾乎就是永不丟失。

圍繞80%的場(chǎng)景設(shè)計(jì), 安裝設(shè)置與維護(hù)盡可能快和簡單

多備份在具體的部署方案上，分成控制中心和客戶端設(shè)計(jì)，當(dāng)然還有無安裝模型。目前無論是控制中心，還是客戶端都采用80/20場(chǎng)景適應(yīng)的原則來考慮，在具體使用流程和參數(shù)布局上，全面改變傳統(tǒng)的幾百個(gè)令人發(fā)暈的參數(shù)配置方案。所有的標(biāo)準(zhǔn)化操作考慮80%的場(chǎng)景覆蓋，除了頻率，內(nèi)容設(shè)置，速度限制，必要的鏈接參數(shù)外，其他都不在多備份主流程中。這樣在具體的功能組合，流程模板顯示，操作菜單，以及按鈕都可以保持非常簡單的流程和交互設(shè)計(jì)。

作者介紹：

聯(lián)合創(chuàng)始人& CTO - 陳元強(qiáng) 曾就職于寶德、騰訊、盛大(旅游)、宜搜、4399，歷任經(jīng)理、總監(jiān)等核心研發(fā)崗位。主導(dǎo)過國家級(jí)IT安全系統(tǒng)研發(fā)和實(shí)施；負(fù)責(zé)家庭戰(zhàn)略項(xiàng)目的產(chǎn)品研發(fā)管理工作，主導(dǎo)QQ空間大數(shù)據(jù)分析和騰訊網(wǎng)分布式流量分析平臺(tái)的研發(fā)。在海量用戶、數(shù)據(jù)安全、網(wǎng)絡(luò)通訊和大數(shù)據(jù)挖掘等應(yīng)用領(lǐng)域方面具有豐富的經(jīng)驗(yàn)。