存儲(chǔ)極客

這是一群存儲(chǔ)偏執(zhí)狂

為存儲(chǔ)而生，跟存儲(chǔ)死磕

各具獨(dú)家秘笈

有觀點(diǎn)，有碰撞，有干貨

從8月18起

做客存儲(chǔ)極客欄目

與你分享存儲(chǔ)里的那點(diǎn)事兒

甲：我有容災(zāi)備份

乙：我有雙活

甲：我有存儲(chǔ)虛擬化乙：我有雙活

甲：我有同步復(fù)制乙：我有雙活

甲：我有HA高可用乙：我有雙活

甲：我有兩地三中心乙：我有多活

......

如今做災(zāi)備這行的，如果說(shuō)自己沒(méi)雙活解決方案都有點(diǎn)不好意思見(jiàn)客戶(hù)了。而不少甲方也對(duì)“雙活”趨之若鶩，仿佛有了這個(gè)就一下子高端了… 雙活有沒(méi)有宣傳中的那么好?它到底改進(jìn)在什么地方，或者說(shuō)解決了什么問(wèn)題?我先給大家舉幾個(gè)例子。

背景1：雙寫(xiě)也算雙活?

在今年的vForum大會(huì)上，有位用戶(hù)朋友跟我討論存儲(chǔ)陣列的單點(diǎn)故障。包括前幾年某旅游網(wǎng)站在內(nèi)的雙控陣列故障而導(dǎo)致業(yè)務(wù)中斷，盡管是很小概率的事件，卻越來(lái)越受到人們重視。大家知道主流企業(yè)級(jí)存儲(chǔ)的可用性通常可達(dá)99.999%，除了硬盤(pán)/SSD RAID保護(hù)，控制器、電源和風(fēng)扇模塊都是冗余無(wú)單點(diǎn)故障的，但也有人表示遇到過(guò)無(wú)源背板的問(wèn)題。此外，商業(yè)存儲(chǔ)系統(tǒng)的軟件可靠性已經(jīng)相當(dāng)高了，但也不能說(shuō)無(wú)懈可擊。

接著，這位用戶(hù)提到旁邊展臺(tái)某廠商的雙節(jié)點(diǎn)存儲(chǔ)虛擬化(容災(zāi))網(wǎng)關(guān)，認(rèn)為這個(gè)不錯(cuò)。其實(shí)這種方案也是有代價(jià)的，除了成本之外，要多占SAN交換機(jī)(通常這種環(huán)境是FC)端口;改變主機(jī)端的多路徑;可能帶來(lái)性能瓶頸;以及浪費(fèi)陣列上的部分軟件功能。

當(dāng)然存儲(chǔ)網(wǎng)關(guān)有其存在的道理，而真正使我有些無(wú)奈的是，有些廠商把這類(lèi)方案統(tǒng)統(tǒng)稱(chēng)為“雙活”——導(dǎo)致部分用戶(hù)認(rèn)為2套陣列在一個(gè)數(shù)據(jù)中心內(nèi)鏡像雙寫(xiě)的方式也是雙活，覺(jué)得這個(gè)比傳統(tǒng)數(shù)據(jù)保護(hù)要更高端之類(lèi)的…

背景2：卷管理器的鏡像

無(wú)獨(dú)有偶，日前我又接到一位用戶(hù)朋友的電話(huà)。他要求RPO=0，即數(shù)據(jù)不能有任何丟失。傳統(tǒng)的存儲(chǔ)同步復(fù)制又擔(dān)心切換之后的數(shù)據(jù)庫(kù)一致性。這個(gè)問(wèn)題現(xiàn)在還不算突出，因?yàn)槭荳indows+SQL Server環(huán)境，而后續(xù)計(jì)劃上Linux+Oracle。有人給他推薦了EMC幾十萬(wàn)的設(shè)備(我猜可能是VPLEX Local)，但我腦筋一轉(zhuǎn)彎，他這次要解決的是單臺(tái)陣列故障問(wèn)題(定時(shí)備份估計(jì)已經(jīng)有了)，如果用Oracle ASM的Normal冗余同時(shí)寫(xiě)2個(gè)陣列ok不?

賣(mài)設(shè)備和License的兄弟別罵我啊，從技術(shù)角度看，AIX下的LVM等支持鏡像的主機(jī)端卷管理器健壯性已經(jīng)足夠，對(duì)于相對(duì)單一的需求有時(shí)可以少花點(diǎn)錢(qián)。然而，人們普遍認(rèn)為L(zhǎng)inux下的LVM沒(méi)有這么靠譜，Oracle ASM“雙機(jī)雙柜”要考慮仲裁盤(pán)的問(wèn)題，而且許多用戶(hù)還有Windows和VMware虛擬機(jī)環(huán)境。“本地存儲(chǔ)雙活”究竟是不是一個(gè)偽命題?我在本文最后一段將繼續(xù)討論這個(gè)。

如果擴(kuò)展到雙活數(shù)據(jù)中心，Oracle ASM理論上可以支持跨站點(diǎn)存儲(chǔ)“雙寫(xiě)”，組成Extend RAC集群。但是距離長(zhǎng)了，效果嘛… 誰(shuí)試過(guò)誰(shuí)知道。

背景3：雙活已經(jīng)out?人家都玩異地多活了

在今年雙十一的購(gòu)物狂歡節(jié)還沒(méi)結(jié)束時(shí)，下面這條微博的出現(xiàn)讓人一下感覺(jué)“高大上”。去O不說(shuō)，關(guān)鍵亮點(diǎn)在于1000公里以上“異地多活”。按照傳統(tǒng)的理解，像金融系統(tǒng)這類(lèi)數(shù)據(jù)一致性要求非常高的應(yīng)用，通常都是100公里以?xún)?nèi)同步復(fù)制(或鏡像)的水平，有幾家上了真正的雙活都還很難說(shuō)?

為什么我們沒(méi)有看到國(guó)內(nèi)外傳統(tǒng)金融機(jī)構(gòu)，包括四大行在內(nèi)宣傳過(guò)這種距離的雙活呢(更不要說(shuō)三活了)?是技術(shù)限制，還是業(yè)務(wù)上沒(méi)有這個(gè)需要?本文也想從純技術(shù)的角度，參考一些公開(kāi)信息，簡(jiǎn)單討論下A廠的雙活實(shí)現(xiàn)，與人們所談?wù)摰拇鎯?chǔ)、數(shù)據(jù)庫(kù)雙活有什么差別。

注：本文只代表作者個(gè)人觀點(diǎn)，與任何組織機(jī)構(gòu)無(wú)關(guān)，如有錯(cuò)誤和不足之處歡迎批評(píng)指正。

互備算不算雙活?

兩地三中心容災(zāi)示意簡(jiǎn)圖

上面是我畫(huà)的一個(gè)比較典型的草圖。H城市有2個(gè)數(shù)據(jù)中心A和B，相距不超過(guò)100公里(理論5ms延時(shí))，之間有裸光纖連接。A、B之間為了盡可能縮小RPO(恢復(fù)點(diǎn)目標(biāo))和RTO(恢復(fù)時(shí)間目標(biāo))可采用存儲(chǔ)和/或數(shù)據(jù)庫(kù)層面的同步復(fù)制。位于S城市的數(shù)據(jù)中心C可能在1000公里之外，由于延時(shí)和線(xiàn)路成本一般采用異步復(fù)制或者遠(yuǎn)程備份。

最初A中心和B中心之間是主備(Active/Standby)的，業(yè)務(wù)等級(jí)決定了它不能做降級(jí)容災(zāi)，B要部署和A相同的全套軟硬件。這時(shí)問(wèn)題來(lái)了，空閑的待機(jī)設(shè)備有沒(méi)有辦法利用起來(lái)呢?即A和B之間互備，需要注意的是有依賴(lài)的業(yè)務(wù)應(yīng)盡量在同一個(gè)數(shù)據(jù)中心里，即做好拆分。其次兩邊的負(fù)載都不應(yīng)超過(guò)50%，以保證在發(fā)生故障切換業(yè)務(wù)都跑在一個(gè)中心時(shí)能夠應(yīng)付過(guò)來(lái)。

這一點(diǎn)，讓我想起了存儲(chǔ)控制器之間的ALUA，不是“真雙活”但也算比較實(shí)用了。

雙活為什么比同步復(fù)制更怕“光纖抖動(dòng)”

上表來(lái)自我給用戶(hù)做過(guò)的一個(gè)咨詢(xún)建議，其中如有不夠嚴(yán)謹(jǐn)和專(zhuān)業(yè)之處請(qǐng)大家諒解。這里我們主要看看存儲(chǔ)級(jí)“雙活”和“同步復(fù)制”之間的差別，先按RPO=0這種理想的情況討論。

同步復(fù)制可以用腳本來(lái)做自動(dòng)切換，但實(shí)際應(yīng)用中大多數(shù)還是選擇更穩(wěn)妥的手動(dòng)切換;雙活理論上切換更簡(jiǎn)單更快，但缺點(diǎn)是日常維護(hù)工作量大，限制多。同步復(fù)制和雙活都有距離限制，并在較遠(yuǎn)距離情況下由于延時(shí)而對(duì)性能明顯影響。像Oracle Extended RAC雙活集群還要考慮數(shù)據(jù)庫(kù)服務(wù)器之間的鏈路帶寬/延時(shí)。

對(duì)于同步復(fù)制，無(wú)論主備還是互備，A、B中心存儲(chǔ)之間的鏈路不穩(wěn)定或者中斷，可以按照預(yù)設(shè)的重試/超時(shí)策略來(lái)處理，LUN(卷)的鏡像關(guān)系可以暫停，源端存儲(chǔ)新產(chǎn)生的數(shù)據(jù)變化可以暫存，等鏈路恢復(fù)后再重新回到復(fù)制狀態(tài)。因此，僅2個(gè)數(shù)據(jù)中心間的光纖異常不會(huì)引發(fā)業(yè)務(wù)遷移。

雙活則不同了。由于兩端的主機(jī)每一次存儲(chǔ)I/O都要寫(xiě)入A、B兩個(gè)中心的存儲(chǔ)，一旦鏈路中斷，只能靠第3站點(diǎn)(可以用第三中心C來(lái)做)仲裁一端為“活”、另一端不可訪(fǎng)問(wèn)，以保證數(shù)據(jù)一致性。這時(shí)需要訪(fǎng)問(wèn)存儲(chǔ)的數(shù)據(jù)庫(kù)和上層業(yè)務(wù)都要切換到一端。

由于同步雙活鏈路中斷的代價(jià)，比復(fù)制要大得多，因此對(duì)于閃斷(也就是通俗所說(shuō)的“抖動(dòng)”)的容忍度可能要放得更寬。這就帶來(lái)一個(gè)問(wèn)題，在閃斷期間，兩邊的數(shù)據(jù)都不讓寫(xiě)，這對(duì)有些應(yīng)用是比較致命的。

數(shù)據(jù)庫(kù)復(fù)制與雙活

上圖我在《存儲(chǔ)極客：多方位全面保護(hù)數(shù)據(jù)庫(kù)》一文中曾經(jīng)使用過(guò)，在一定的距離內(nèi)，Oracle Data Guard可以實(shí)現(xiàn)數(shù)據(jù)庫(kù)的redo log同步復(fù)制到物理備庫(kù)，達(dá)到RPO=0。ADG備庫(kù)可以只讀打開(kāi)，并且不能做到與主庫(kù)嚴(yán)格狀態(tài)一致(因?yàn)橛腥罩綼pply的時(shí)間，會(huì)有一點(diǎn)滯后)。

至于Oracle Golden Gate和戴爾SharePlex這樣邏輯復(fù)制軟件，它們可以實(shí)現(xiàn)數(shù)據(jù)庫(kù)的雙活讀寫(xiě)，但會(huì)有秒級(jí)(通常一端數(shù)據(jù)庫(kù)的更改反映在另一端至少要1秒)滯后。這樣達(dá)不到強(qiáng)一致性，用于金融行業(yè)帳戶(hù)等數(shù)據(jù)庫(kù)通常是做復(fù)制和遷移，雙活就不太合適了。此外由于邏輯復(fù)制的靈活性，可靠性方面也沒(méi)有那么好。

至于長(zhǎng)距離RAC集群，前面說(shuō)到了，在許多情況下并不算太實(shí)用。

1000公里多活是如何實(shí)現(xiàn)的?(這一段僅供參考，主要為了給大家拓展下思路)

經(jīng)過(guò)上文中的討論，應(yīng)該能看出傳統(tǒng)存儲(chǔ)和數(shù)據(jù)庫(kù)的雙活有著各種限制，下面我們看看互聯(lián)網(wǎng)企業(yè)是如何突破的。

注：上面這段文字來(lái)自今年雙11之前，指的應(yīng)該是taobao的雙活而不是alipay，使用的數(shù)據(jù)庫(kù)可能不是OB。一同作為參考。

首先我們看到了“切片”，也就是說(shuō)具體到某一時(shí)間點(diǎn)應(yīng)該都是細(xì)分粒度的“互備”，當(dāng)然這種比傳統(tǒng)意義上的互備更加靈活。

注：上述文字來(lái)自知乎，在此引用僅供參考。

A廠商的雙活/多活，不是單純靠數(shù)據(jù)庫(kù)或者存儲(chǔ)層技術(shù)來(lái)實(shí)現(xiàn)，與上層業(yè)務(wù)邏輯之間有著緊密的聯(lián)系。這對(duì)大多數(shù)企業(yè)和機(jī)構(gòu)來(lái)說(shuō)是很難復(fù)制的。

上圖中第一句話(huà)的前提應(yīng)該是“1000公里”這樣的距離，考慮到雙十一期間巨大的交易量，異步復(fù)制做到1分鐘RPO已經(jīng)是相當(dāng)好的水平了。

上圖截自Veritas資深架構(gòu)師黃海峰在存儲(chǔ)峰會(huì)大咖課堂上的分享《Server SAN的數(shù)據(jù)保護(hù)和容災(zāi)》

關(guān)于雙十一的多活話(huà)題，由于我在數(shù)據(jù)庫(kù)和應(yīng)用方面的知識(shí)比較有限，就不談太多了。最后再提一個(gè)思考題，有興趣的朋友可以在文章下面發(fā)表評(píng)論。

還是回到我在開(kāi)頭畫(huà)的圖。光纖的延時(shí)大家都很難突破，對(duì)于最終落到數(shù)據(jù)庫(kù)里的記錄——可能對(duì)應(yīng)的就是帳戶(hù)里的錢(qián)，如果在A中心提交至少會(huì)把日志同步寫(xiě)入到B中心才能返回，遠(yuǎn)距離的C中心可以異步——銀行們也大致是這樣。至于在C中心提交的業(yè)務(wù)呢?數(shù)據(jù)中心內(nèi)我相信有足夠的冗余，那么同城是否也要有一個(gè)容災(zāi)站點(diǎn)?如果有的話(huà)，它的距離又是多遠(yuǎn)呢?

對(duì)更多企業(yè)經(jīng)濟(jì)適用的雙活

上面談?wù)摿艘恍╆P(guān)于“雙十一”高大上的架構(gòu)，或許只有BAT級(jí)別的互聯(lián)網(wǎng)巨頭才玩得動(dòng)。那么我們?cè)偻ㄟ^(guò)實(shí)際案例看看存儲(chǔ)雙活的價(jià)值可以有哪些，撥開(kāi)迷霧，排除掉那些看上去很美而難于實(shí)用的。

上圖來(lái)自一位CIO/IT部總經(jīng)理在DEF2105大會(huì)上的案例資料

這里我們拿幾個(gè)用戶(hù)來(lái)舉例，其中技術(shù)并不只局限于某家廠商的某款產(chǎn)品。如上圖，在生產(chǎn)機(jī)房的核心和外圍2臺(tái)戴爾SC8000之間配置了“本地雙活”，生產(chǎn)機(jī)房到同城災(zāi)備機(jī)房之間做異步復(fù)制(對(duì)線(xiàn)路帶寬要求降低)。其中核心存儲(chǔ)配置SSD+SAS盤(pán)，CDP粒度為1小時(shí)，快照恢復(fù)點(diǎn)共保留3天;外圍存儲(chǔ)增加了4周之內(nèi)、粒度為8小時(shí)的歷史數(shù)據(jù)回放點(diǎn)，除了SSD之外，大容量NL-SAS應(yīng)該就是為了存放快照數(shù)據(jù)的;同城核心災(zāi)備存儲(chǔ)保留周期1年、粒度為1天的快照，以達(dá)到長(zhǎng)期數(shù)據(jù)備份的效果，這里既有NL-SAS保證容量又有SSD+SAS以備接管業(yè)務(wù)時(shí)的性能之需。

這里面除了同/異步復(fù)制、高效的快照和自動(dòng)分層存儲(chǔ)技術(shù)之外，主要的特點(diǎn)就是本地雙活。與本文開(kāi)頭提到的LVM/ASM這些卷鏡像相比有什么好處呢?借助Live Volume，配置在2套戴爾SC陣列之間的一個(gè)雙活LUN，借助虛擬端口和多路徑技術(shù)，對(duì)前端服務(wù)器看來(lái)就是一個(gè)卷。切換到從另一臺(tái)陣列控制器訪(fǎng)問(wèn)，以及LUN Owner的改變對(duì)于上層業(yè)務(wù)都是無(wú)縫透明的。Live Volume雙活的實(shí)現(xiàn)更加底層，沒(méi)有LVM/ASM在操作系統(tǒng)和數(shù)據(jù)庫(kù)方面的限制。根據(jù)我的理解，針對(duì)這個(gè)場(chǎng)景EMC VPLEX Local等也能達(dá)到同類(lèi)效果，但直接由陣列實(shí)現(xiàn)的雙活成本更低。

某用戶(hù)雙活數(shù)據(jù)中心總體架構(gòu)

支持同步復(fù)制和雙活的產(chǎn)品不少，但實(shí)際部署中我們發(fā)現(xiàn)大多數(shù)用戶(hù)還是選擇了異步，前面也說(shuō)了這是距離和傳輸鏈路的原因。那么某市工業(yè)園區(qū)和公安部門(mén)同步雙活的前提應(yīng)該就是政府自己鋪設(shè)的有質(zhì)量保證的光纖，比租用運(yùn)營(yíng)商的可能靠譜一些哦：)我在幾年前曾經(jīng)拜訪(fǎng)過(guò)這家用戶(hù)的IT負(fù)責(zé)人，了解到他們當(dāng)時(shí)已具備在相隔10公里的生產(chǎn)機(jī)房(DC1)和容災(zāi)機(jī)房(DC2)之間，裸光纖上的DCB(數(shù)據(jù)中心橋接)無(wú)損以太網(wǎng)基礎(chǔ)設(shè)施。

同步復(fù)制和雙活對(duì)生產(chǎn)存儲(chǔ)性能的影響會(huì)隨著距離增加，記得聽(tīng)朋友說(shuō)某大廠在國(guó)內(nèi)測(cè)試的第一個(gè)Mirror項(xiàng)目曾下降過(guò)70%。那么支持同步/異步在線(xiàn)轉(zhuǎn)換的一個(gè)好處就是減少性能影響。在《深入DellWorld2015：SC9000存儲(chǔ)軟硬件更新解密》一文中可以看到Live Volume已經(jīng)通過(guò)VMware vMSC(vSphere Metro Storage Cluster)的認(rèn)證，也就是說(shuō)虛擬機(jī)可以跨數(shù)據(jù)中心做vMotion遷移和HA高可用。在手動(dòng)觸發(fā)虛擬機(jī)存儲(chǔ)遷移時(shí)，就可以先將異步復(fù)制轉(zhuǎn)換為同步復(fù)制以保證不丟數(shù)據(jù)。

某用戶(hù)實(shí)際部署的兩地雙活+三中心架構(gòu)

上圖中的小字可能看不清，我把關(guān)鍵點(diǎn)用3個(gè)紅圈標(biāo)出來(lái)，并分別將文字摘錄如下：

“數(shù)據(jù)庫(kù)應(yīng)用層SharePlex同步”“數(shù)據(jù)庫(kù)應(yīng)用存儲(chǔ)、虛擬化存儲(chǔ)Live Volume同步 保障兩中心雙活互備保護(hù)”“LXR數(shù)據(jù)異步復(fù)制至災(zāi)備中心存儲(chǔ)”

這個(gè)也符合我們以前的觀點(diǎn)，有了存儲(chǔ)復(fù)制/雙活之后，在一些關(guān)鍵應(yīng)用中，同時(shí)進(jìn)行數(shù)據(jù)庫(kù)層面的邏輯或者物理復(fù)制保護(hù)也是有必要的。

此外，為了保證跨數(shù)據(jù)中心雙活存儲(chǔ)的自動(dòng)切換和避免腦裂，像第三站點(diǎn)仲裁這樣的技術(shù)EMC、戴爾等廠商也是支持的。

最后，我還想引用一位資深技術(shù)專(zhuān)家朋友的話(huà)——“產(chǎn)品和解決方案是為用戶(hù)需求服務(wù)的，任何技術(shù)都不是完美，只有適用某些場(chǎng)景”。