對(duì)于較大型的數(shù)據(jù)中心,經(jīng)常要利用災(zāi)備技術(shù)來實(shí)現(xiàn)數(shù)據(jù)的遷移,同時(shí)利用原有的數(shù)據(jù)中心作為備份中心。
如何能保證數(shù)據(jù)中心遷移過程中數(shù)據(jù)不丟失?如何確保數(shù)據(jù)中心遷移過程中業(yè)務(wù)系統(tǒng)基本不停頓?這些都是我們銀行要面對(duì)的問題。
本文將基于EMCSRDF技術(shù),以中國(guó)建設(shè)銀行廈門市分行數(shù)據(jù)中心新舊大樓搬遷和災(zāi)備系統(tǒng)實(shí)施為例,討論數(shù)據(jù)中心數(shù)據(jù)遷移和搬遷的方案規(guī)劃、設(shè)計(jì)和實(shí)施。
一、數(shù)據(jù)中心遷移背景
銀行數(shù)據(jù)中心的共有特點(diǎn)是:業(yè)務(wù)集中、數(shù)據(jù)集中、海量數(shù)據(jù)容量(至少TB量級(jí))、大業(yè)務(wù)量、業(yè)務(wù)連續(xù)性要求極高、關(guān)鍵業(yè)務(wù)數(shù)據(jù)可用性高。隨著銀行數(shù)據(jù)集中,舊數(shù)據(jù)中心由于容量、性能、運(yùn)行環(huán)境等限制,已不能滿足業(yè)務(wù)系統(tǒng)發(fā)展的需要,這時(shí)各銀行就可能建立一個(gè)新的數(shù)據(jù)中心。由于業(yè)務(wù)24×7的連續(xù)性需求和客戶數(shù)據(jù)的重要性,保證業(yè)務(wù)連續(xù)性是數(shù)據(jù)中心遷移的核心要求,遷移數(shù)據(jù)的高可靠性是數(shù)據(jù)中心遷移成敗的關(guān)鍵。數(shù)據(jù)遷移過程中對(duì)業(yè)務(wù)的影響、遷移的數(shù)據(jù)完整性保證是遷移技術(shù)選型、方案設(shè)計(jì)的依據(jù)。
隨著廈門建行各項(xiàng)業(yè)務(wù)系統(tǒng)的發(fā)展,原有的計(jì)算中心機(jī)房已經(jīng)難以滿足越來越多業(yè)務(wù)系統(tǒng)對(duì)中心運(yùn)行環(huán)境的要求,系統(tǒng)的擴(kuò)充性受到極大的限制。隨著分行新營(yíng)業(yè)大樓的使用和新大樓中新中心機(jī)房的建設(shè)完成,廈門建行需要將原有的數(shù)據(jù)中心將搬遷到新營(yíng)業(yè)大樓中。
廈門建行原數(shù)據(jù)中心主機(jī)系統(tǒng)基本上是基于IBMRS/6000主機(jī)和EMC存儲(chǔ)平臺(tái)為基礎(chǔ)的系統(tǒng)。廈門建行主要的銀行業(yè)務(wù)系統(tǒng)包括對(duì)公、儲(chǔ)蓄、銀行卡等核心業(yè)務(wù),還包括有代理業(yè)務(wù)和中間業(yè)務(wù)等。應(yīng)用系統(tǒng)是以Tuxedo中間件和Informix、Db2等數(shù)據(jù)庫系統(tǒng)來進(jìn)行構(gòu)建的,生產(chǎn)數(shù)據(jù)集中存放在一臺(tái)EMC的Symmetrix3830磁盤機(jī)中,可用空間大約約600GB。
廈門建行在新數(shù)據(jù)中心選用一臺(tái)EMC的Symmetrix8530磁盤機(jī)作為主存儲(chǔ)設(shè)備,同時(shí)還購買了SRDF、TIMEFINDER、PowerPath、ECC等軟件和利用SRDF進(jìn)行數(shù)據(jù)遷移的服務(wù),這為使用SRDF進(jìn)行數(shù)據(jù)遷移和系統(tǒng)搬遷提供了必要條件。從節(jié)約資金的角度,新數(shù)據(jù)中心的主機(jī)系統(tǒng)不再另行購置,全部從舊數(shù)據(jù)中心搬遷過來。
本文重點(diǎn)說明數(shù)據(jù)的遷移,設(shè)備的物理搬遷不詳細(xì)說明。
二、SRDF技術(shù)概述
目前實(shí)現(xiàn)數(shù)據(jù)遷移和災(zāi)難備份的方法、技術(shù)很多,有SAN或NAS技術(shù)、遠(yuǎn)程鏡像技術(shù)、基于IP的SAN的互連技術(shù)、快照技術(shù)等。其中,業(yè)界成熟的磁盤鏡像技術(shù)對(duì)于保證業(yè)務(wù)連續(xù)性和數(shù)據(jù)遷移的高可靠性方面有著一定的優(yōu)勢(shì),成為眾多大型企業(yè)數(shù)據(jù)遷移、災(zāi)難備份的首選。EMC公司SRDF(SymmetrixRemoteDataFacility)技術(shù)是磁盤鏡像技術(shù)的一個(gè)杰出代表,在國(guó)內(nèi)、國(guó)際上都有眾多的成功案例。
EMCSRDF是迄今為止業(yè)界唯一能夠同時(shí)為大型機(jī)、UNIX、WindowsNT和AS/400等系統(tǒng)提供完整的業(yè)務(wù)持續(xù)性能力的解決方案。自從其1994年問世以來,EMC存儲(chǔ)管理軟件已經(jīng)幫助許多公司管理計(jì)劃內(nèi)的數(shù)據(jù)中心事件(如按計(jì)劃維護(hù),每日數(shù)據(jù)備份,數(shù)據(jù)遷移和應(yīng)用測(cè)試),同時(shí)它也負(fù)責(zé)從突發(fā)故障(如數(shù)據(jù)災(zāi)難)中恢復(fù)數(shù)據(jù)。SRDF是一個(gè)在線的并且獨(dú)立于主機(jī)的數(shù)據(jù)鏡像信息存儲(chǔ)解決方案。它可以將生產(chǎn)現(xiàn)場(chǎng)的數(shù)據(jù)復(fù)制到一個(gè)或多個(gè)物理上分離的Symmetrix目標(biāo)系統(tǒng)上。這些系統(tǒng)可以跨越大樓,遠(yuǎn)至世界各地。
SRDF軟件具有如下特點(diǎn):
1.支持所有主流服務(wù)器,大機(jī)(Mainframe)和開放系統(tǒng)能同時(shí)使用SRDF;
2.基于磁盤陣列自身功能,與操作系統(tǒng)、應(yīng)用軟件無關(guān)、對(duì)主機(jī)影響小;
3.同時(shí)支持同步、半同步、異步等數(shù)據(jù)傳輸模式;
4.通過網(wǎng)絡(luò)系統(tǒng)的支持,SRDF鏡像的距離可以到幾千公里的距離;
5.與Symmetrix微碼、TimeFinder進(jìn)行良好配合,實(shí)現(xiàn)生產(chǎn)數(shù)據(jù)的靈活應(yīng)用,例如:利用BCV卷實(shí)現(xiàn)生產(chǎn)數(shù)據(jù)備份、隔日數(shù)據(jù)查詢、數(shù)據(jù)倉庫等應(yīng)用;
6.支持不同通信協(xié)議,包括ESCON、T1/E1、T3/E3、ATM、IP、DWDM,F(xiàn)C等;
7.配置靈活、實(shí)施簡(jiǎn)單、操作方便;
一個(gè)典型的SRDF連接,如圖一所示。
圖中顯示了同步方式的SRDF一個(gè)寫請(qǐng)求的完成過程。從圖中可以看出,當(dāng)本地(源)盤要寫一個(gè)IO的時(shí)候,它首先會(huì)將IO發(fā)到遠(yuǎn)地(目標(biāo))盤上,待目標(biāo)Symmetrix設(shè)備將數(shù)據(jù)寫進(jìn)Cache后,本地IO才認(rèn)為是寫成功了。這樣,就充分保證本地存儲(chǔ)和遠(yuǎn)地存儲(chǔ)的一致性,但是對(duì)SRDF的連接的網(wǎng)絡(luò)速率要求就比較高了。
三、需求分析
銀行數(shù)據(jù)中心的遷移工作,與其他項(xiàng)目一樣,首先都要從數(shù)據(jù)中心遷移的需求分析開始,充分理解遷移工作的目標(biāo)、環(huán)境、性能指標(biāo)等,才可能開始進(jìn)行設(shè)計(jì)工作。本節(jié)以廈門建行數(shù)據(jù)中心遷移為例,說明數(shù)據(jù)中心搬遷的需求分析工作。
1.總體目標(biāo):
廈門建行數(shù)據(jù)中心遷移的總體目標(biāo)是:要將數(shù)據(jù)中心從舊大樓搬遷到新大樓,需要利用數(shù)據(jù)遷移技術(shù)將數(shù)據(jù)從舊的數(shù)據(jù)中心遷移到新的數(shù)據(jù)中心,同時(shí)建立新舊大樓之間的數(shù)據(jù)災(zāi)備系統(tǒng),系統(tǒng)遷移過程中對(duì)業(yè)務(wù)系統(tǒng)的影響要達(dá)到最小。
2.系統(tǒng)環(huán)境分析:
廈門建行數(shù)據(jù)中心由核心業(yè)務(wù)系統(tǒng)和大量的前置系統(tǒng)組成。其中,廈門建行數(shù)據(jù)中心的核心主機(jī)系統(tǒng)以IBMRS6000主機(jī)、EMC存儲(chǔ)系統(tǒng)組成,數(shù)據(jù)庫系統(tǒng)采用InformixIDS,應(yīng)用系統(tǒng)是自行開發(fā)的。
廈門建行新舊數(shù)據(jù)中心物理距離大約6公里。目前在舊的數(shù)據(jù)中心有一套舊的存儲(chǔ)系統(tǒng)。舊數(shù)據(jù)中心有多套的雙機(jī)互備的主機(jī)系統(tǒng),包括核心業(yè)務(wù)系統(tǒng)雙機(jī)系統(tǒng)、信息系統(tǒng)雙機(jī)系統(tǒng)、前置系統(tǒng)雙機(jī)系統(tǒng)(包括多種前置應(yīng)用系統(tǒng))等,這些機(jī)器都通過SAN連接到核心存儲(chǔ)上。而在新數(shù)據(jù)中心準(zhǔn)備新購置一套新的存儲(chǔ)系統(tǒng),但在新的數(shù)據(jù)中心沒有主機(jī)系統(tǒng),只是用一臺(tái)小配置的機(jī)器用于測(cè)試,新購置一臺(tái)與舊中心一樣的SANSwitch作為測(cè)試。系統(tǒng)情況如下圖所示。
圖二原系統(tǒng)結(jié)構(gòu)示意圖
另外,數(shù)據(jù)中心還有大量的前置機(jī)大部分是獨(dú)立的系統(tǒng),涉及的操作系統(tǒng)包括:HP-UX、SCOOpenserver、Linux、WindowsNT、Windows2000等;涉及的數(shù)據(jù)庫包括:Informix、LotusNotes、SQLServer等。這些系統(tǒng)大多是屬于可以單獨(dú)搬遷的系統(tǒng),其設(shè)備的搬遷不與核心系統(tǒng)的搬遷同時(shí)進(jìn)行。因此,這些設(shè)備和機(jī)器不再上圖列出。
3.業(yè)務(wù)數(shù)據(jù)分析:
因?yàn)闉?zāi)備系統(tǒng)需要有一套存儲(chǔ)系統(tǒng),相應(yīng)的主機(jī)系統(tǒng),要有機(jī)房運(yùn)行條件、網(wǎng)絡(luò)系統(tǒng)等,因此建立災(zāi)備系統(tǒng)需要有較高的投入。所以,要在成本允許的情況下,進(jìn)行綜合考慮,盡可能將比較重要的業(yè)務(wù)放入災(zāi)備系統(tǒng)中。因此我們要將業(yè)務(wù)數(shù)據(jù)根據(jù)重要性進(jìn)行劃分,一般可以分為:核心業(yè)務(wù)、重要業(yè)務(wù)、一般業(yè)務(wù)。
(1)核心業(yè)務(wù)要求24小時(shí)不間斷運(yùn)行,其重要性不言而喻。這些業(yè)務(wù)數(shù)據(jù)肯定要進(jìn)入災(zāi)備系統(tǒng),才能在數(shù)據(jù)中心遷移時(shí)以最短的中斷時(shí)間實(shí)現(xiàn)遷移的目的,同時(shí)將來數(shù)據(jù)中心出現(xiàn)問題時(shí),備份中心能保有最新的核心業(yè)務(wù)數(shù)據(jù)。比如上圖中原系統(tǒng)中的核心業(yè)務(wù)系統(tǒng),包括業(yè)務(wù)主機(jī)系統(tǒng)和信息系統(tǒng)。
(2)重要業(yè)務(wù)中,要根據(jù)允許中斷時(shí)間、業(yè)務(wù)重要程度進(jìn)行劃分,將重要程度很高、中斷時(shí)間要求很短的業(yè)務(wù),盡可能放到災(zāi)備系統(tǒng)中,將重要程度一般、中斷時(shí)間可以時(shí)間比較長(zhǎng)的業(yè)務(wù)系統(tǒng)考慮不放在災(zāi)備系統(tǒng)中。比如上圖中連接到SAN環(huán)境中的“前置系統(tǒng)1”、“前置系統(tǒng)2”。
(3)一般業(yè)務(wù)正常情況下都不進(jìn)入災(zāi)備系統(tǒng),在數(shù)據(jù)中心遷移時(shí)要進(jìn)行較長(zhǎng)時(shí)間的業(yè)務(wù)中斷,中斷時(shí)間就是一般業(yè)務(wù)的系統(tǒng)關(guān)機(jī)、物理搬遷、開機(jī)的時(shí)間。比如不在上圖中示意的其他系統(tǒng)。
4.遷移需求分析:
按廈門建行的需求,整個(gè)系統(tǒng)遷移只能在凌晨進(jìn)行,而且系統(tǒng)遷移造成的業(yè)務(wù)中斷時(shí)間不能超過2小時(shí)。也就是說,我們?cè)谙到y(tǒng)遷移過程中,應(yīng)用系統(tǒng)關(guān)閉、數(shù)據(jù)遷移、應(yīng)用系統(tǒng)啟動(dòng)的整個(gè)過程占用的時(shí)間不能超過2小時(shí)。按此要求,我們?cè)谠O(shè)計(jì)中要特別注意系統(tǒng)遷移的性能。
5.性能需求分析:
廈門建行對(duì)SRDF性能的要求是系統(tǒng)響應(yīng)時(shí)間不得超過原來的5%。這個(gè)需求是針對(duì)數(shù)據(jù)中心搬遷后,新舊數(shù)據(jù)中心的災(zāi)備系統(tǒng)而提出的。基于這個(gè)需求,需要對(duì)傳輸?shù)臄?shù)據(jù)量進(jìn)行估算。
按廈門建行的應(yīng)用情況,通過對(duì)多日的數(shù)據(jù)量的分析,發(fā)現(xiàn)在系統(tǒng)在正常運(yùn)行中的IO量不大,SRDF完全能滿足要求;但是,當(dāng)應(yīng)用系統(tǒng)數(shù)據(jù)庫在做Checkpoint的時(shí)候,IO量急劇增大。假如每秒IO數(shù)據(jù)量10M,則SRDF性能要求也是10*8=80Mbps。