張志強(qiáng),2009年加入新時(shí)代證券有限責(zé)任公司(以下簡(jiǎn)稱新時(shí)代證券)IT部門成為IT負(fù)責(zé)人。在IT行業(yè)打拼了十幾年,并且輾轉(zhuǎn)在甲方和乙方等不同對(duì)立面的職位工作,也讓他深諳IT之道:企業(yè)要想在業(yè)務(wù)上突飛猛進(jìn),IT是最基本的保障。
在張志強(qiáng)上任一年之后的2010年3月,讓他引以為豪的項(xiàng)目異地雙備份中心項(xiàng)目在新時(shí)代證券落地。據(jù)張志強(qiáng)介紹,這個(gè)項(xiàng)目是目前國(guó)內(nèi)證券行業(yè),唯一一家實(shí)現(xiàn)同步工作互相備份的數(shù)據(jù)中心。
敢于第一個(gè)吃螃蟹的新時(shí)代證券
那么,敢于在證券行業(yè)里第一個(gè)吃異地雙備份中心這個(gè)螃蟹的公司到底是什么樣呢?新時(shí)代證券公司目前有兩家分公司,北京和上海各有一家,上海的分公司屬于后期收購(gòu)的上海遠(yuǎn)東證券公司改造而成。新時(shí)代證券公司在全國(guó)100多家證券公司,排名大約在50名,全國(guó)50多家營(yíng)業(yè)部,擁有50多萬(wàn)客戶,目前員工大約500人,其中包括約30人的IT團(tuán)隊(duì)。
與傳統(tǒng)證券公司的數(shù)據(jù)中心一樣,以前新時(shí)代證券公司的數(shù)據(jù)中心也是遵循兩地三中心的模式,地處在不同地震帶上的兩個(gè)數(shù)據(jù)中心,一個(gè)數(shù)據(jù)中心承擔(dān)主運(yùn)行系統(tǒng),另外一個(gè)作為備份,一旦主系統(tǒng)存在問(wèn)題,那么在短時(shí)間內(nèi)啟動(dòng)維持正常業(yè)務(wù)運(yùn)營(yíng)。這種設(shè)計(jì)架構(gòu),在傳統(tǒng)IT理念里認(rèn)為,是比較穩(wěn)妥的,對(duì)IT負(fù)責(zé)熱來(lái)說(shuō)也是無(wú)需承擔(dān)任何的風(fēng)險(xiǎn)。
但是,張志強(qiáng)卻不這么認(rèn)為。多年IT行業(yè)經(jīng)驗(yàn)告訴它,當(dāng)長(zhǎng)期運(yùn)行的主數(shù)據(jù)中心一旦出現(xiàn)嚴(yán)重故障,需要將生產(chǎn)系統(tǒng)切換到備用數(shù)據(jù)中心的時(shí)候,總是會(huì)出現(xiàn)這樣或那樣的問(wèn)題,切換的成功率比較低。即使切換成功了,IT系統(tǒng)也會(huì)出現(xiàn)很多意想不到的故障。這是為什么呢?張志強(qiáng)總結(jié)其中的原因稱,因?yàn)閭溆玫臄?shù)據(jù)中心不常用,所以在維護(hù)上就很難與主數(shù)據(jù)中心相比,就好像你經(jīng)常使用的工具箱被拿走,突然換一個(gè)你不常用的工具箱,里面肯定有一些用找不到或者用著不順手的工具。
從張志強(qiáng)進(jìn)新時(shí)代證券公司不久,張志強(qiáng)就看到了這些問(wèn)題,并且開始著手準(zhǔn)備。經(jīng)過(guò)一系列的研討、部署以及測(cè)試之后,一直到2010年3月份,這個(gè)異地雙備份中心的項(xiàng)目才算是真正的落地運(yùn)行。這讓張志強(qiáng)的原本有一些忐忑的心情終于落地。張志強(qiáng)進(jìn)一步道出心情忐忑的原因,國(guó)內(nèi)企業(yè)CIO不容易當(dāng),很多企業(yè)的IT部門,都處于一個(gè)從屬的地位,沒有問(wèn)題,誰(shuí)也想不到你,出了問(wèn)題都是你的問(wèn)題。
同時(shí),張志強(qiáng)也坦言,這次異地雙備份中心項(xiàng)目創(chuàng)新在技術(shù)上并無(wú)太大難度,難點(diǎn)在于IT架構(gòu)理念的創(chuàng)新,IT負(fù)責(zé)人是否愿意承擔(dān)責(zé)任和風(fēng)險(xiǎn)。記者認(rèn)為,這也許是很多比新時(shí)代證券還要龐大很多的證券公司,沒有考慮異地雙備份中心的原因之一。
的確,記者也在采訪過(guò)程中,聽到一些企業(yè)CIO抱怨,雖然建設(shè)了容災(zāi)備份系統(tǒng),但是幾乎都不敢做一次災(zāi)備演練。因?yàn)樗麄儞?dān)心,一旦業(yè)務(wù)切不過(guò)去不能正常運(yùn)行,對(duì)一些重要行業(yè)來(lái)說(shuō)簡(jiǎn)直是滅頂之災(zāi)。
張志強(qiáng)提到前段時(shí)間,國(guó)內(nèi)某證券公司出現(xiàn)的一次IT系統(tǒng)故障,長(zhǎng)時(shí)間造成用戶無(wú)法交易,給證券用戶造成無(wú)法估量的損失,同時(shí)對(duì)于證券公司的生存和發(fā)展都存在巨大的威脅。
但是,如果企業(yè)將擁有的兩個(gè)數(shù)據(jù)中心都盤活,讓兩個(gè)數(shù)據(jù)中心擁有的系統(tǒng)和IT資源,在業(yè)務(wù)上互相備份保持同步運(yùn)行,某一個(gè)生產(chǎn)系統(tǒng)上出現(xiàn)故障,在幾秒內(nèi)將數(shù)據(jù)同步到另外一個(gè)系統(tǒng)上運(yùn)行。
雖然這種IT架構(gòu)以前業(yè)界也曾經(jīng)討論過(guò),但是真正將雙數(shù)據(jù)中心同步運(yùn)行的理念落地的又有幾個(gè)呢?在張志強(qiáng)看來(lái),對(duì)于證券行業(yè)的公司來(lái)說(shuō),這也算是一次IT架構(gòu)上的提升,思想上的提升了。
新至強(qiáng)E5處理器 以一當(dāng)十
在IT負(fù)責(zé)人這個(gè)職位上,有兩種態(tài)度可以選擇,一種是勇于在IT上嘗試更先進(jìn)的理念,在穩(wěn)定性、安全性以及易用性上不斷創(chuàng)新,但I(xiàn)T負(fù)責(zé)人必須承擔(dān)項(xiàng)目可能失敗的風(fēng)險(xiǎn)。另外一種態(tài)度則相對(duì)相安無(wú)事,只需做好日常的IT維護(hù)即可,無(wú)過(guò)便是功。在這兩種態(tài)度面前,張志強(qiáng)毫不猶豫地選擇了前者。
2009年,剛?cè)胄聲r(shí)代證券公司不久的張志強(qiáng)經(jīng)過(guò)長(zhǎng)時(shí)間的調(diào)研和思考,最終決定邁出這個(gè)項(xiàng)目的第一步。
張志強(qiáng)選擇了上海和北京兩個(gè)地方作為兩個(gè)備份中心,上海的數(shù)據(jù)中心租用了上證通的高保障級(jí)別的數(shù)據(jù)中心,其標(biāo)準(zhǔn)是高于國(guó)內(nèi)機(jī)房平均水平之上;另外一個(gè)數(shù)據(jù)中心則安置在了自己辦公大樓上。對(duì)于兩個(gè)數(shù)據(jù)中心,為何一個(gè)租用,一個(gè)自建呢?張志強(qiáng)的解釋是,租用是為了節(jié)省成本,畢竟購(gòu)買一些設(shè)備的費(fèi)用不低(百萬(wàn)級(jí)別),而自建數(shù)據(jù)中的目的是,需要培養(yǎng)自己的IT團(tuán)隊(duì),可以進(jìn)一步掌握它們的運(yùn)行狀況,第一時(shí)間做出處理,而且經(jīng)常看到自己的IT系統(tǒng)。
對(duì)于證券公司IT投入的多少,中國(guó)證券行業(yè)協(xié)會(huì)早有文件規(guī)定,推薦投入的比例是公司利潤(rùn)的6%為最佳。而對(duì)于新時(shí)代證券公司來(lái)說(shuō),當(dāng)然要求每一筆錢都要花在刀刃上。張志強(qiáng)是一個(gè)喜歡動(dòng)腦子的人,他總是在琢磨如何能夠花錢又少,又能將事情辦到最好。例如,在異地雙備份中心項(xiàng)目中,除了購(gòu)買服務(wù)器等IT設(shè)備外,新時(shí)代證券也沒有再多增加額外的花費(fèi),就連IT人員也沒有增加一個(gè)。另外,原來(lái)新時(shí)代證券的網(wǎng)絡(luò)上是一個(gè)運(yùn)行商走兩根專線,到現(xiàn)在兩個(gè)運(yùn)行商分別都走一根線,成本沒有增加,反而增加了一道安全保障。
如此為公司精打細(xì)算的張志強(qiáng),在當(dāng)初選擇服務(wù)器的時(shí)候,也經(jīng)過(guò)了一番慎重地考慮。張志強(qiáng)希望服務(wù)器的處理器能夠在解決IO瓶頸問(wèn)題上能夠更給力一些,最好是以一當(dāng)十未來(lái)還能在虛擬化和云計(jì)算上發(fā)揮作用。當(dāng)了解到全新架構(gòu)的至強(qiáng)E5處理器剛剛發(fā)布的時(shí)候,張志強(qiáng)開始重點(diǎn)關(guān)注。張志強(qiáng)欣喜地發(fā)現(xiàn),新至強(qiáng)E5處理的環(huán)形總線設(shè)計(jì)以及集成到處理器中的IO控制器,在最大程度上幫助他化解證券企業(yè)IO瓶頸問(wèn)題,同時(shí),新至強(qiáng)E5還能支持從虛擬化到云計(jì)算的應(yīng)用。
另外,張志強(qiáng)頗感意外的是,在同等性能下,新至強(qiáng)E5處理器的能耗還能至少降低50%,這又能為公司節(jié)省了一筆開支。性能和擴(kuò)展性都非常棒,價(jià)格與其他相差無(wú)幾,張志強(qiáng)表示,了解到這些情況之后,我很快就確定了自己的選擇,采購(gòu)了一批裝配了新至強(qiáng)E5的服務(wù)器。
選擇好了機(jī)房、IT設(shè)備以及兩套完全一樣的軟件系統(tǒng)之后,同時(shí),張志強(qiáng)向公司總部申請(qǐng)了兩套基本相當(dāng)?shù)腎T運(yùn)維人員的分別配備到兩地的數(shù)據(jù)中心,基本上就是原來(lái)的24個(gè)IT運(yùn)維人員對(duì)半分。
一開始,張志強(qiáng)也擔(dān)心異地雙備份中心給公司的運(yùn)維增加很大的難度。但是,在后期運(yùn)維過(guò)程中,并沒有見到太大的壓力,反而因?yàn)閺堉緩?qiáng)的這種創(chuàng)新的IT架構(gòu)理念,讓新時(shí)代證券公司的IT部分運(yùn)維人員更輕松了。傳統(tǒng)的數(shù)據(jù)中心以主數(shù)據(jù)中心為主,基本上備份數(shù)據(jù)中心里做的演練和運(yùn)維很少。但是,張志強(qiáng)的雙備份中心投入使用之后,至少三個(gè)月互換一次主動(dòng)權(quán)。一個(gè)例子,假如一個(gè)身處北京的新時(shí)代證券客戶在互聯(lián)網(wǎng)上發(fā)出一個(gè)交易申請(qǐng),那么,要看這個(gè)時(shí)間段,是哪個(gè)數(shù)據(jù)中心是主系統(tǒng)在工作,如果是北京就直接轉(zhuǎn)到北京的數(shù)據(jù)中心進(jìn)行處理交易,如果是上海就轉(zhuǎn)發(fā)至上海數(shù)據(jù)中心進(jìn)行處理。
在證券用戶提交申請(qǐng)的過(guò)程中,如果主數(shù)據(jù)中心出現(xiàn)故障,那么,IT系統(tǒng)將自己切換到另外一個(gè)數(shù)據(jù)中心的主系統(tǒng)上,對(duì)于用戶來(lái)說(shuō)感受到的也就是幾秒鐘的延遲。原本出現(xiàn)了問(wèn)題,是否應(yīng)該切換數(shù)據(jù)中心,需要一線員工一層層地向上匯報(bào),上層領(lǐng)導(dǎo)也不能清楚其中原因,所以很長(zhǎng)的時(shí)間內(nèi),都是在了解情況和分析是否應(yīng)該切換系統(tǒng)而爭(zhēng)論,因?yàn)榍袚Q有風(fēng)險(xiǎn),可能遇到更多未知的問(wèn)題。現(xiàn)在異地雙備份中心的成功實(shí)施,讓一線技術(shù)人員沒有太多顧慮,因?yàn)閮傻氐臄?shù)據(jù)中心都是同步運(yùn)行的,每時(shí)每刻,兩地的數(shù)據(jù)中心的數(shù)據(jù)都進(jìn)行同步,可以說(shuō)兩地的數(shù)據(jù)中心是一模一樣的運(yùn)行環(huán)境和運(yùn)行的狀況,包括證券行業(yè)的四大模塊,如,集中交易系統(tǒng)、交易所的報(bào)盤機(jī)、主數(shù)據(jù)庫(kù)系統(tǒng)等。
張志強(qiáng)笑稱:真是一模一樣,就連數(shù)據(jù)中心的布局,機(jī)柜擺放的位置,以及機(jī)柜的數(shù)量都是一樣的,就好像一個(gè)人有了兩顆心臟在同時(shí)跳動(dòng)一樣。
回顧異地雙備份中心項(xiàng)目,張志強(qiáng)仍然強(qiáng)調(diào)一點(diǎn),這是一次數(shù)據(jù)中心安全級(jí)別的提升,更是一次公司管理結(jié)構(gòu)上的創(chuàng)新。