一、中國石化盈科的關(guān)鍵應(yīng)用轉(zhuǎn)型探索
黃才生認為,隨著數(shù)據(jù)越來越受到重視,對企業(yè)IT基礎(chǔ)架構(gòu)提出了越來越多的要求,關(guān)鍵應(yīng)用的IT架構(gòu)應(yīng)具備以下幾點特性:
一是開放,可以擁有更多選擇,而不是鎖定在一兩家解決方案平臺之上。
二是擁有更好的靈活性、更好的互操作性。
三是可擴展性。
四是數(shù)據(jù)中心的高效率。
五是需要更高的響應(yīng)速度和非常高的可靠性。
基于大量數(shù)據(jù)的激增,2005年開始,中石化啟動了工具構(gòu)建數(shù)據(jù)倉庫項目,最早采用分產(chǎn)式,相當于以數(shù)字集成式的方式逐步構(gòu)建。2008年之后,中石化開始轉(zhuǎn)為采用集中式的數(shù)據(jù)倉庫平臺建設(shè)。但因為中石化數(shù)據(jù)倉庫的容量大,數(shù)據(jù)量達60T,所構(gòu)建的應(yīng)用不僅僅是服務(wù)中石化總部,還包括了四大事業(yè)部以及財務(wù)部、物裝部等職能部門的應(yīng)用,覆蓋到整個企業(yè),其數(shù)據(jù)倉庫應(yīng)用的服務(wù)用戶數(shù)為19000左右。因此,在運行五六年之后,傳統(tǒng)數(shù)據(jù)倉庫越來越有瓶頸。比如用戶最關(guān)心晚上的批處理情況,即第二天早上是否能看到報表?夜間期間財務(wù)報表是否能按時出據(jù)?等等。
為此,中石化于2014年正式啟動了如何利用新的HANA技術(shù)實現(xiàn)結(jié)構(gòu)化數(shù)據(jù)進行大數(shù)據(jù)處理,來解決目前遇到的瓶頸。
遷移前中石化采用四個小型機做應(yīng)用服務(wù)器,遷移之后除了上端應(yīng)用服務(wù)器根據(jù)利舊原則仍舊使用了小型機之外,其它則采用了一體機。
遷移完成之后成就了全球最大的HANA集群,也是全球第一個采用2T節(jié)點的集群。本項目從2月份開始規(guī)劃,3~ 4月份實施, 10月份正式上線。從最終效果來看:整體性能提升3-5倍,原先需要一分鐘以內(nèi)的處理量,從以前只有20%提升到90%;3分鐘以上的處理量,從10月份之前的25%大幅降低到1%左右,傳統(tǒng)的處理環(huán)節(jié)大大縮短了,性能得到提升。
二、中國農(nóng)業(yè)銀行的關(guān)鍵應(yīng)用轉(zhuǎn)型探索
中國農(nóng)業(yè)銀行科技與產(chǎn)品管理局處長張升說:“銀行業(yè)在金融系統(tǒng)里屬于對可靠性要求最高的一個行業(yè),因此,銀行一直以來都堅持比較穩(wěn)健的經(jīng)營策略,信息系統(tǒng)建設(shè)也如此。”
上圖為:中國農(nóng)業(yè)銀行科技與產(chǎn)品管理局處長張升
但隨著互聯(lián)網(wǎng)金融的風生水起,銀行業(yè)競爭越來越激烈,對成本的控制成了銀行競爭的主要因素。此外,為了響應(yīng)國家安全可控戰(zhàn)略,中國農(nóng)業(yè)銀行探索的是對于信息基礎(chǔ)架構(gòu)的轉(zhuǎn)型。
中國整個IT產(chǎn)業(yè)環(huán)境發(fā)生了很大的變化,為中國農(nóng)業(yè)銀行的轉(zhuǎn)型創(chuàng)造了有力的條件。比如說開源產(chǎn)品日益成熟,原來封閉的系統(tǒng)逐步都可由開源方案替代,再如計算、存儲、網(wǎng)絡(luò)也產(chǎn)生了很多新的企業(yè),發(fā)布了很多新的產(chǎn)品。另外在軟件層面,分布式技術(shù)方案也傾向穩(wěn)定。
銀行很多系統(tǒng)原來采用集中式架構(gòu),集中式架構(gòu)的好處在于穩(wěn)定性、數(shù)據(jù)一致性要求很高,但它的缺點也比較明顯,就是可擴展性差。而中國農(nóng)業(yè)銀行的用戶分布于全世界,以前交易平臺受到網(wǎng)點的限制,現(xiàn)在由于移動互聯(lián)網(wǎng)的發(fā)展,大家需要隨時隨地獲取金融服務(wù)。傳統(tǒng)集中式架構(gòu)因為不易于擴展,所以致使在滿足海量數(shù)據(jù)以及并發(fā)量越來越多移動互聯(lián)網(wǎng)時代已經(jīng)很難滿足要求。而分布式架構(gòu)為中國農(nóng)業(yè)銀行提供了很好的思路。
中國農(nóng)業(yè)銀行的總體轉(zhuǎn)型思路就是由集中式架構(gòu)變成為分布式架構(gòu),總體方向是:計算分兩層,應(yīng)用服務(wù)層和數(shù)據(jù)服務(wù)層,應(yīng)用服務(wù)層從2009年開始全面實施向x86轉(zhuǎn)型,向虛擬化轉(zhuǎn)型,通過兩三年的時間,目前基本上大部分系統(tǒng)都已經(jīng)實現(xiàn)。最核心的在數(shù)據(jù)庫關(guān)鍵業(yè)務(wù)系統(tǒng),包括銀行卡系統(tǒng)、網(wǎng)上銀行系統(tǒng),目前都全面采用了分布式x86架構(gòu)。
以 “信貸業(yè)務(wù)系統(tǒng)”為例,銀行從傳統(tǒng)業(yè)務(wù)來說,最本質(zhì)的就是存貸匯,存款業(yè)務(wù)、貸款業(yè)務(wù)和支付業(yè)務(wù)。信貸系統(tǒng)便是每一個銀行最核心的系統(tǒng)之一,農(nóng)業(yè)銀行的信貸系統(tǒng)采用的是全國數(shù)據(jù)集中的模式,農(nóng)業(yè)銀行的客戶,不管是在網(wǎng)上和手機端,還是在網(wǎng)點,只要申請貸款業(yè)務(wù),都會訪問到“信貸業(yè)務(wù)系統(tǒng)”。 “信貸業(yè)務(wù)系統(tǒng)”實現(xiàn)了農(nóng)業(yè)銀行全行所有系統(tǒng)的信貸機構(gòu)全品種、全流程的網(wǎng)上作業(yè)。
“信貸業(yè)務(wù)系統(tǒng)”之前架構(gòu)用了兩臺64路小型機,每天的業(yè)務(wù)量大概在3000萬左右。在2013年4月份受商品房信貸政策影響,信貸業(yè)務(wù)尤其是按揭購房貸款業(yè)務(wù)發(fā)生了飛速的增長,數(shù)據(jù)庫已達到了壓力極限值的80~90%,極端情況下甚至達到100%,給銀行造成很大困擾。基于對移動業(yè)務(wù)、網(wǎng)上貸款業(yè)務(wù)的預(yù)估,中國農(nóng)業(yè)銀行啟動了整個轉(zhuǎn)型,其替代方案為:
將原來單個集中式架構(gòu)變成了分布式架構(gòu),組建了4臺關(guān)鍵業(yè)務(wù)服務(wù)器,配置為4路E7CPU,32核,256G內(nèi)存,組建了數(shù)據(jù)庫集群。
遷移以后,交易量3000萬,峰值是3500萬,tps高峰期達到1500萬。 3000萬的業(yè)務(wù)每天峰值時使用率是四臺服務(wù)器上不超過15%,原來是80、90%,此外,交易堵塞、響應(yīng)緩慢等問題也得到了很好的解決。
基于上述經(jīng)驗,中國農(nóng)業(yè)銀行將在今年全面啟動從數(shù)據(jù)庫層面整個RISC到x86的轉(zhuǎn)型。
小結(jié)
從中國石化盈科及中國農(nóng)業(yè)銀行的實踐來看,企業(yè)關(guān)鍵應(yīng)用需求的爆發(fā)加速了企業(yè)關(guān)鍵應(yīng)用技術(shù)的發(fā)展,轉(zhuǎn)型已迫在眉睫!無論是中國石化盈科的集中式的數(shù)據(jù)倉庫平臺建設(shè),還是將其核心系統(tǒng)改為分布式架構(gòu),其對系統(tǒng)的開放性、靈活性、擴展性、高效率以及可靠性均提出了更高的要求。對此,我們均需做好準備!