大數(shù)據(jù)已經(jīng)成為國(guó)家戰(zhàn)略,而大數(shù)據(jù)首先所面臨的問(wèn)題就是大數(shù)據(jù)的存儲(chǔ)問(wèn)題,這就繞不開(kāi)數(shù)據(jù)庫(kù),因?yàn)閿?shù)據(jù)庫(kù)就是用來(lái)存儲(chǔ)數(shù)據(jù)的應(yīng)用軟件。任何數(shù)據(jù)庫(kù),都有其優(yōu)缺點(diǎn), 無(wú)論是傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)還是NoSQL數(shù)據(jù)庫(kù)又或者NewSQL數(shù)據(jù)庫(kù)。因此,到底選擇哪個(gè)數(shù)據(jù)庫(kù),對(duì)企業(yè)而言這個(gè)決策過(guò)程都非常復(fù)雜。
與互聯(lián)網(wǎng)行業(yè)廣泛使用開(kāi)源的MySQL數(shù)據(jù)庫(kù)不同,銀行對(duì)可用性、安全性的要求更高,任何創(chuàng)新、業(yè)務(wù)都必須以此為前提,同時(shí)手機(jī)銀行、網(wǎng)上銀行等業(yè)務(wù)也具備客戶量、交易量大,交易峰值特別高(例如大促)的特點(diǎn),而且銀行業(yè)務(wù)絕大多數(shù)情況下要滿足ACID要求,不能出現(xiàn)數(shù)據(jù)幻象,這些都對(duì)數(shù)據(jù)庫(kù)選擇、架構(gòu)、性能、運(yùn)維帶來(lái)很大挑戰(zhàn)。那么,銀行到底都在使用哪些數(shù)據(jù)庫(kù)?今天本文就將為你一一揭秘,供選型參考。
本期內(nèi)容,筆者在采訪中盡可能去涵蓋更多不同類(lèi)型的銀行,以供大家參考。采訪銀行既有四大行的中國(guó)銀行、中國(guó)工商銀行,也有股份制銀行的招行銀行、浦發(fā)銀行,還有城商行江蘇銀行。
(特別說(shuō)明:部分受訪者所屬部門(mén)局限,因此,以下所列企業(yè)業(yè)務(wù)線對(duì)應(yīng)數(shù)據(jù)庫(kù)并不全面,僅列出主要應(yīng)用數(shù)據(jù)庫(kù),供參考。)
中國(guó)工商銀行
中國(guó)工商銀行(簡(jiǎn)稱(chēng):工商銀行)是四大銀行之一,擁有中國(guó)最大的客戶群,2016年末,公司客戶578.4萬(wàn)戶,個(gè)人客戶5.30億戶,連續(xù)第4年蟬聯(lián)《銀行家》全球1000家大銀行、美國(guó)《福布斯》全球企業(yè)2000強(qiáng)和美國(guó)《財(cái)富》“500強(qiáng)商業(yè)銀行子榜單”3個(gè)權(quán)威排行榜的榜首。
采訪對(duì)象:吳輝,工商銀行數(shù)據(jù)中心平臺(tái)數(shù)據(jù)庫(kù)負(fù)責(zé)人,負(fù)責(zé)開(kāi)放平臺(tái)10多種、數(shù)千套各類(lèi)數(shù)據(jù)庫(kù)的日常維護(hù),職責(zé)主要包括各類(lèi)數(shù)據(jù)庫(kù)的架構(gòu)部署、系統(tǒng)上線、高可用建設(shè)、故障診斷、升級(jí)退庫(kù)等全生命周期的管理操作。
工商銀行基于商用數(shù)據(jù)庫(kù)自主建設(shè)了銀行全線應(yīng)用系統(tǒng),涵蓋個(gè)人、對(duì)公、信用卡等多條業(yè)務(wù)線,數(shù)百個(gè)應(yīng)用系統(tǒng)。
使用的數(shù)據(jù)庫(kù)類(lèi)型較多,既有傳統(tǒng)的商用數(shù)據(jù)庫(kù),包括DB2、Oracle 、SQL Server等,又有開(kāi)源數(shù)據(jù)庫(kù)如MySQL等;既有關(guān)系型數(shù)據(jù)庫(kù),又有非結(jié)構(gòu)化的比如Hadoop、Spark平臺(tái),還有基于Redis的分布式緩存平臺(tái)用于關(guān)系型數(shù)據(jù)庫(kù)補(bǔ)充。
工商銀行核心業(yè)務(wù)系統(tǒng)多跑在DB2、Oracle之上。在開(kāi)源MySQL應(yīng)用方面,工商銀行重點(diǎn)推進(jìn)在人工智能、物聯(lián)網(wǎng)等創(chuàng)新領(lǐng)域廣泛使用,并匹配銀行特點(diǎn)在架構(gòu)部署、參數(shù)調(diào)優(yōu)等方面進(jìn)行多項(xiàng)創(chuàng)新,成為后續(xù)OLTP關(guān)系型數(shù)據(jù)庫(kù)轉(zhuǎn)型的重點(diǎn)方向, 目前已上線數(shù)百套系統(tǒng)。
工商銀行很早就開(kāi)始了企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的建設(shè),最早基于Teradata產(chǎn)品構(gòu)造了企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)體系,實(shí)現(xiàn)對(duì)數(shù)百個(gè)應(yīng)用進(jìn)行數(shù)據(jù)加工、匯總,給下游提供數(shù)據(jù)。
基于Hadoop、 spark等開(kāi)源大數(shù)據(jù)庫(kù)產(chǎn)品,工商銀行自主構(gòu)造了應(yīng)對(duì)非結(jié)構(gòu)化數(shù)據(jù)的大數(shù)據(jù)平臺(tái),目前節(jié)點(diǎn)超過(guò)700個(gè) ,數(shù)據(jù)量達(dá)到6PB上,為網(wǎng)銀、融e聯(lián)等40多個(gè)應(yīng)用提供數(shù)據(jù)支撐。
中國(guó)銀行
中國(guó)銀行是1912年2月5日正式成立,是中國(guó)唯一持續(xù)經(jīng)營(yíng)超過(guò)百年的銀行,也是中國(guó)四大銀行之一。2016年,獲《銀行家》“全球銀行品牌500強(qiáng)排行榜”排名第六位,世界500強(qiáng)排行榜名列第三十五名。
采訪對(duì)象:張海濱,中國(guó)銀行數(shù)據(jù)中心數(shù)據(jù)庫(kù)運(yùn)維團(tuán)隊(duì)高級(jí)經(jīng)理。工作包括:數(shù)據(jù)庫(kù)日常巡檢、問(wèn)題解決、常規(guī)保障及重點(diǎn)時(shí)段、重要項(xiàng)目保障、外部服務(wù)廠商管理等,開(kāi)展數(shù)據(jù)安全保障,架構(gòu)設(shè)計(jì)及調(diào)整、性能優(yōu)化、重點(diǎn)難點(diǎn)問(wèn)題解決等內(nèi)容,還包括新技術(shù)引入、創(chuàng)新、人才培養(yǎng)等。
中國(guó)銀行在數(shù)據(jù)庫(kù)的選擇上更為多元化,既有商用數(shù)據(jù)庫(kù)Oracle 、DB2、SQL Server,也有開(kāi)源數(shù)據(jù)庫(kù)MySQL、MongoDB、Hbase,還有國(guó)產(chǎn)數(shù)據(jù)庫(kù)浪潮K-DB。
其中,DB2主要用在主機(jī)(MainFrame)上,在銀行核心系統(tǒng)上使用。
開(kāi)放平臺(tái)(UNIX)平臺(tái)主要是Oracle 數(shù)據(jù)庫(kù),涉及大量外圍系統(tǒng),包括關(guān)鍵渠道系統(tǒng)、總線系統(tǒng)、報(bào)表處理系統(tǒng)和賬務(wù)系統(tǒng),等。
在Win平臺(tái)上的應(yīng)用,主要是分行前端相關(guān)的系統(tǒng),主要使用SQL Server。在x86平臺(tái)的應(yīng)用,數(shù)據(jù)庫(kù)種類(lèi)就比較多,有Oracle、MySQL,也有MongoDB,Hbase等數(shù)據(jù)庫(kù)。
中國(guó)銀行在應(yīng)用上也有頗多創(chuàng)新,主要體現(xiàn)以下幾個(gè)方面,在自動(dòng)化方面,有數(shù)據(jù)庫(kù)的自動(dòng)化安裝、配置,自動(dòng)化健康檢查,搭建數(shù)據(jù)庫(kù)問(wèn)題排查平臺(tái),還包括性能數(shù)據(jù)倉(cāng)庫(kù)及數(shù)據(jù)挖掘等。搭建主庫(kù)和備用庫(kù)環(huán)境,優(yōu)化數(shù)據(jù)結(jié)構(gòu)和應(yīng)用架構(gòu)。結(jié)合ADG技術(shù),實(shí)現(xiàn)數(shù)據(jù)高可用保障,部分應(yīng)用系統(tǒng)實(shí)現(xiàn)讀寫(xiě)分離,優(yōu)化應(yīng)用功能實(shí)現(xiàn),提升數(shù)據(jù)庫(kù)服務(wù)效率。結(jié)合存儲(chǔ)設(shè)備數(shù)據(jù)復(fù)制技術(shù),提供部分系統(tǒng)的T+1數(shù)據(jù)查詢功能。
招商銀行
招商銀行是中國(guó)第一家完全由企業(yè)法人持股的股份制商業(yè)銀行,成于1987年4月8日,由香港招商局集團(tuán)有限公司創(chuàng)辦,是中國(guó)內(nèi)地規(guī)模第六大的銀行、香港中資金融股的八行五保之一。
采訪對(duì)象:田永江,招商銀行數(shù)據(jù)中心數(shù)據(jù)庫(kù)及應(yīng)用管理室經(jīng)理。負(fù)責(zé)數(shù)據(jù)庫(kù)及應(yīng)用的規(guī)劃建設(shè)與日常運(yùn)維管理。
招商銀行數(shù)據(jù)庫(kù)類(lèi)型也比較多,而用得最多的是Oracle、DB2、MySQL,分別用在重要業(yè)務(wù)系統(tǒng)或高復(fù)雜度業(yè)務(wù)系統(tǒng),以及普通系統(tǒng)。
田永江說(shuō):“金融科技的創(chuàng)新發(fā)展很快,為業(yè)務(wù)保駕護(hù)航,甚至技術(shù)促進(jìn)、引領(lǐng)業(yè)務(wù)發(fā)展,是我們不斷地追求,需要我們更多地了解和掌握行業(yè)發(fā)展動(dòng)向,做好技術(shù)引進(jìn)和消化方面的工作。”
或許出于涉密原因,他并沒(méi)有談到招行具體創(chuàng)新,但他也指出,無(wú)論哪種數(shù)據(jù)庫(kù),只要有可用性、性能容量的要求,都進(jìn)行分庫(kù)分表、讀寫(xiě)分離、多活等架構(gòu)規(guī)劃和設(shè)計(jì),并兩地部署,結(jié)合容災(zāi)和一鍵切換,形成高可用、多中心部署、可橫向擴(kuò)展的架構(gòu)。
浦發(fā)銀行
上海浦東發(fā)展銀行(簡(jiǎn)稱(chēng):浦發(fā)銀行)是1992年8月28日批準(zhǔn)設(shè)立、1993年1月9日開(kāi)業(yè)、1999年在上海證券交易所掛牌上市的國(guó)有控股全國(guó)性股份制商業(yè)銀行,總行設(shè)在上海。2016年8月,上海浦東發(fā)展銀行在"2016中國(guó)企業(yè)500強(qiáng)"中排名第49位。
采訪對(duì)象:楊欣捷,浦發(fā)銀行信息科技部架構(gòu)處數(shù)據(jù)庫(kù)架構(gòu)師,負(fù)責(zé)數(shù)據(jù)庫(kù)架構(gòu)管理、設(shè)計(jì)。
浦發(fā)銀行在數(shù)據(jù)庫(kù)的選擇上更為多元化,既有商用數(shù)據(jù)庫(kù)Oracle、DB2、Informix、SQLserver、Sybase,也有數(shù)據(jù)倉(cāng)庫(kù)和OLAP類(lèi):Teradata、GreenPlum。還有開(kāi)源數(shù)據(jù)庫(kù)MySQL,Redis,Hbase。
其中,Oracle在浦發(fā)銀行主要應(yīng)用于信用卡業(yè)務(wù),浦發(fā)銀行目前已經(jīng)全面擁抱12c的多租戶體系,正在全面推進(jìn)DBaaS。未來(lái)所有數(shù)據(jù)庫(kù)部署在少數(shù)幾個(gè)集群(數(shù)據(jù)庫(kù)資源池)上。目標(biāo)實(shí)現(xiàn)動(dòng)態(tài)伸縮、快速部署、自服務(wù)。DB2則在全面擁抱Purescale架構(gòu)。
而Informix 、Sybase正在逐漸退出。MySQL正在一些外圍和渠道系統(tǒng)上逐步試點(diǎn)和推廣。在大數(shù)據(jù)平臺(tái)上也有使用Hbase。
江蘇銀行
江蘇銀行是在江蘇省內(nèi)無(wú)錫、蘇州、南通等10家城市商業(yè)銀行基礎(chǔ)上,合并重組而成的現(xiàn)代股份制商業(yè)銀行, 2007年1月24日正式掛牌開(kāi)業(yè),是江蘇省唯一一家省屬地方法人銀行。截至2016年末,資產(chǎn)總額達(dá)15983億元,各項(xiàng)存款總額達(dá)9074億元,各項(xiàng)貸款總額達(dá)6494億元。
采訪對(duì)象:朱滔,江蘇銀行信息科技部系統(tǒng)管理團(tuán)隊(duì)負(fù)責(zé)人,負(fù)責(zé)總行生產(chǎn)及同城容災(zāi)中心內(nèi)部硬件及數(shù)據(jù)庫(kù),中間件等軟件的管理和維護(hù)工作。
江蘇銀行在用數(shù)據(jù)庫(kù)類(lèi)型也很多,主要有Oracle,也有新興的開(kāi)源和分布式數(shù)據(jù)庫(kù)。目前MySQL、Gbase、MongoDB、Redis、Hbase、GoldenDB、TDH在江蘇銀行都有小規(guī)模使用。
其中,Oracle數(shù)據(jù)庫(kù)在江蘇銀行主要用于傳統(tǒng)OLTP環(huán)境應(yīng)用,對(duì)于傳統(tǒng)Oracle數(shù)據(jù)庫(kù),江蘇銀行改變了傳統(tǒng)的一個(gè)應(yīng)用一套數(shù)據(jù)庫(kù)的模式,對(duì)數(shù)據(jù)庫(kù)進(jìn)行了大量的整合,最近三年新上的Oracle數(shù)據(jù)庫(kù)更是全部運(yùn)行在PC 服務(wù)器RAC集群上 ,每套R(shí)AC均承載多套應(yīng)用。并且持續(xù)遷移老的單機(jī)版本數(shù)據(jù)庫(kù)到集群環(huán)境,單機(jī)數(shù)據(jù)庫(kù)的數(shù)量持續(xù)降低。
與其他銀行不同的是,江蘇銀行在使用的數(shù)據(jù)庫(kù)中,我們看到更多了國(guó)產(chǎn)數(shù)據(jù)庫(kù)的身影,其中Gbase數(shù)據(jù)庫(kù)為南大通用的國(guó)產(chǎn)列式分布式數(shù)據(jù)庫(kù),據(jù)了解,主要用于江蘇銀行的部分分析類(lèi)系統(tǒng);GoldenDB為中興通訊的分布式關(guān)系型數(shù)據(jù)庫(kù),目前用于江蘇銀行的部分后臺(tái)系統(tǒng)。上海星環(huán)的TDH,在江蘇銀行已廣泛應(yīng)用在數(shù)據(jù)集市、客戶標(biāo)簽、流計(jì)算等多方面。
小結(jié)
實(shí)際上在長(zhǎng)達(dá)3個(gè)月的選題采訪過(guò)程中,我們采訪的銀行及行業(yè)人士遠(yuǎn)不止于此。總的來(lái)說(shuō),銀行在數(shù)據(jù)庫(kù)上的選擇上普遍都比較多元化,一般在重要業(yè)務(wù)系統(tǒng)或高復(fù)雜度業(yè)務(wù)系統(tǒng)多以O(shè)racle、DB2等傳統(tǒng)商業(yè)數(shù)據(jù)庫(kù)為主,普通系統(tǒng)也會(huì)選擇MySQL等開(kāi)源數(shù)據(jù)庫(kù)和國(guó)產(chǎn)數(shù)據(jù)庫(kù)產(chǎn)品。
調(diào)查發(fā)現(xiàn),過(guò)去在銀行業(yè)占有絕對(duì)優(yōu)勢(shì)地位的IBM DB2日子并不那么好過(guò),開(kāi)放平臺(tái)DB2略好,但大機(jī)DB2受去IOE影響較大,加之IBM對(duì)于DB2沒(méi)有太多作為的市場(chǎng)策略,雖然DB2產(chǎn)品很優(yōu)秀,但依然抵擋不住市場(chǎng)份額的萎縮,有從第一梯隊(duì)向第二梯隊(duì)滑落趨勢(shì)。甲骨文CEO馬克-赫德不久前提到,“如果遷移數(shù)據(jù)庫(kù)這么容易,DB2的市場(chǎng)份額可能就變成零了。”雖然這話是在慫對(duì)亞馬遜時(shí)所說(shuō),但言語(yǔ)中不無(wú)對(duì)DB2日趨邊緣化地位的嘲諷。
因此,如果IBM對(duì)于DB2沒(méi)有更多的新舉措,被淘汰恐怕就將會(huì)是早晚的事,但短時(shí)間DB2市場(chǎng)地位不會(huì)有太大變化。另外,有個(gè)因素也不容忽視,銀行引入DB2不排除還有出于商務(wù)制衡的考慮。
而Sybase在被SAP收購(gòu)之后,就被其雪藏,市場(chǎng)上鮮有聲音,從調(diào)查看,境況不佳,采訪中唯一一家在用的銀行也有計(jì)劃將其淘汰。
值得注意的是,我們發(fā)現(xiàn)在銀行業(yè)內(nèi)出現(xiàn)了不少?lài)?guó)產(chǎn)數(shù)據(jù)庫(kù)的身影,如南大通用、浪潮、星環(huán)、中興。雖然其產(chǎn)品并非應(yīng)用于銀行核心系統(tǒng),但至少這是一個(gè)好的開(kāi)始,意味著國(guó)產(chǎn)數(shù)據(jù)庫(kù)在可用性和安全性上取得了長(zhǎng)足進(jìn)步,實(shí)現(xiàn)了在銀行業(yè)0的突破。至于未來(lái)國(guó)產(chǎn)數(shù)據(jù)庫(kù)能否更進(jìn)一步,我們拭目以待。