當前,金融行業(yè)面臨著兩大難題:一是海量數(shù)據(jù)的存儲及查詢分析,二是信息系統(tǒng)的安全可控。傳統(tǒng)的數(shù)據(jù)存儲方案已無法滿足銀行等金融企業(yè)大數(shù)據(jù)的需求,銀行IT系統(tǒng)隨著數(shù)據(jù)量的增大,查詢性能急劇下降,甚至達到無法響應(yīng)的程度。另一方面,去年6月發(fā)生的棱鏡門事件及隨后中央網(wǎng)絡(luò)安全信息化小組的成立,更加強化了金融網(wǎng)絡(luò)和信息系統(tǒng)實現(xiàn)自主可控的重要性。
面對大數(shù)據(jù)時代的數(shù)據(jù)分析與數(shù)據(jù)安全問題,堅持自主創(chuàng)新、尋求國產(chǎn)化替代,將成為國內(nèi)金融業(yè)信息化的突圍之路。南大通用自主研發(fā)的國產(chǎn)新型數(shù)據(jù)庫Gbase 8a數(shù)據(jù)庫能夠?qū)崿F(xiàn)大數(shù)據(jù)的全數(shù)據(jù)存儲管理與高效分析,為金融行業(yè)大數(shù)據(jù)應(yīng)用提供完整的數(shù)據(jù)分析與安全解決方案。Gbase 8a已在金融、電信、政務(wù)、安全等領(lǐng)域取得規(guī)模化市場應(yīng)用,在銀行業(yè)信息系統(tǒng)中,銀監(jiān)會、農(nóng)業(yè)銀行、工商銀行、招商銀行和地方農(nóng)商行均已上線或正在測試該產(chǎn)品。
挑戰(zhàn)大數(shù)據(jù),國產(chǎn)可期待
金融行業(yè)的經(jīng)營、管理及監(jiān)管類信息系統(tǒng)時刻產(chǎn)生并運行著海量數(shù)據(jù),對這些大數(shù)據(jù)進行分析挖掘,可以更好地為金融客戶提供增值服務(wù),并對企業(yè)運營創(chuàng)新提供有力支撐。
南大通用國產(chǎn)新型數(shù)據(jù)庫Gbase 8a是面向大數(shù)據(jù)分析類應(yīng)用領(lǐng)域的一款高性能國產(chǎn)新型數(shù)據(jù)庫產(chǎn)品,用于滿足數(shù)據(jù)密集型行業(yè)日益增大的數(shù)據(jù)查詢、數(shù)據(jù)統(tǒng)計、數(shù)據(jù)分析、數(shù)據(jù)挖掘和數(shù)據(jù)備份等需求,可用做數(shù)據(jù)倉庫系統(tǒng)、BI系統(tǒng)和決策支持系統(tǒng)的承載數(shù)據(jù)庫。其商業(yè)價值主要體現(xiàn)在八個方面:一級價值包括提速、省盤、省錢、成云等核心優(yōu)勢和直接為客戶帶來的效益,二級價值包括全文、轉(zhuǎn)非、全數(shù)據(jù)、可視化等產(chǎn)品的創(chuàng)新功能帶來的價值。
與國外同類廠商相比,南大通用具有服務(wù)質(zhì)量好、團隊規(guī)模大、服務(wù)性價比高的本地服務(wù)優(yōu)勢,得到了國內(nèi)金融、電信、軍工、政府及能源等行業(yè)客戶的一致認可;與國內(nèi)其他數(shù)據(jù)庫相比,Gbase 8a的研發(fā)起步早(2007年),發(fā)展快(三代產(chǎn)品),技術(shù)領(lǐng)先,產(chǎn)品應(yīng)用范圍廣。
根據(jù)賽迪顧問2014年發(fā)布的平臺軟件和大數(shù)據(jù)應(yīng)用市場年報:南大通用2013年實現(xiàn)數(shù)據(jù)庫軟件產(chǎn)品銷售額1.07億元人民幣,市場份額1.74%,蟬聯(lián)國產(chǎn)數(shù)據(jù)庫市場第一,被認定為行業(yè)“可期待者”;未來幾年隨著國產(chǎn)替代進程的推進,專注于行業(yè)大數(shù)據(jù)存儲管理的Gbase數(shù)據(jù)庫,將以市場“挑戰(zhàn)者”身份迎來發(fā)展機遇。
2013年中國數(shù)據(jù)庫管理系統(tǒng)市場廠商競爭態(tài)勢四項限圖
數(shù)據(jù)來源:賽迪顧問 2014,02
技術(shù)世界同步,國產(chǎn)可替代
伴隨大數(shù)據(jù)技術(shù)的快速發(fā)展,海量數(shù)據(jù)管理能力,包括多類型、變化快、高可用性、低成本、高可擴展性等需求,給金融行業(yè)的數(shù)據(jù)戰(zhàn)略帶來了巨大挑戰(zhàn)。南大通用堅持自主創(chuàng)新,新型數(shù)據(jù)庫Gbase 8a與Oracle等傳統(tǒng)通用型數(shù)據(jù)庫相比,在數(shù)據(jù)查詢和統(tǒng)計分析方面的性能可達到10-100倍提升,能較好地滿足金融行業(yè)對數(shù)據(jù)分析高速處理的需求。較目前市場上國外新型數(shù)據(jù)庫(EMC的Greenplum、HP的Vertica、SAP的Sybase IQ)的主流產(chǎn)品,在分析領(lǐng)域國產(chǎn)數(shù)據(jù)庫已經(jīng)與國外產(chǎn)品站在同一起跑線上。
國產(chǎn)新型數(shù)據(jù)庫Gbase 8a采用了列存儲、自適應(yīng)壓縮、智能索引等核心技術(shù),其集群基于Share Nothing架構(gòu),采用MPP(大規(guī)模并行處理)等關(guān)鍵技術(shù),并內(nèi)嵌了高性能的全文檢索和分布式文件系統(tǒng),實現(xiàn)了高效的大數(shù)據(jù)存儲管理和查詢分析。產(chǎn)品能夠在百TB至PB級數(shù)據(jù)規(guī)模下實現(xiàn)數(shù)據(jù)查詢的秒級響應(yīng);幫助用戶節(jié)省50%-90%存儲空間;進而為客戶節(jié)省50%-90%的投資和運維成本;對結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進行統(tǒng)一處理;實現(xiàn)千億級文本條目全文檢索的秒級響應(yīng);提供全過程可視化的數(shù)據(jù)查詢分析及展現(xiàn)工具。
金融大數(shù)據(jù),國產(chǎn)已應(yīng)用
大數(shù)據(jù)時代,國內(nèi)銀行業(yè)務(wù)的運行越來越依賴信息系統(tǒng)的支撐,國外供應(yīng)商的技術(shù)封鎖和高采購成本讓IT部門受制于人。越來越多的銀行用戶,開始在新建信息系統(tǒng)上使用國產(chǎn)數(shù)據(jù)庫,或在已有系統(tǒng)的升級、完善方面尋求國產(chǎn)可替代方案,從而降低風險和成本,提高企業(yè)核心競爭力。下面就Gbase數(shù)據(jù)庫在銀行業(yè)的實際應(yīng)用場景及解決方案進行簡述。
海量數(shù)據(jù)復(fù)雜運算處理:銀行業(yè)早期建立的分析類應(yīng)用基于國外數(shù)據(jù)庫建設(shè),隨著數(shù)據(jù)量的不斷增大、接入系統(tǒng)的增多,原數(shù)據(jù)庫已經(jīng)很難在指定的時間窗口中完成統(tǒng)計,也無法繼續(xù)接入其它的業(yè)務(wù)系統(tǒng)數(shù)據(jù),進而無法滿足銀行內(nèi)部數(shù)據(jù)分析和監(jiān)管機構(gòu)的數(shù)據(jù)監(jiān)管要求。在中國農(nóng)業(yè)銀行數(shù)據(jù)倉庫項目中,南大通用采用Gbase 8a數(shù)據(jù)庫集群建設(shè),共28個節(jié)點,包括14個safegroup,另部署4臺加載機實現(xiàn)集群的數(shù)據(jù)分發(fā)加載。新系統(tǒng)能夠支持500TB以上數(shù)據(jù)、超過1000億行的數(shù)據(jù)庫表、可支撐每天處理4000個以上的復(fù)雜作業(yè)。同時具有線性可擴展能力,較高比例的數(shù)據(jù)壓縮,能夠基于x86和Linux開放平臺搭建,從而降低總體成本。數(shù)據(jù)加工后將支撐信用卡分析、借記卡分析、電子銀行分析和資金轉(zhuǎn)移計價等應(yīng)用的數(shù)據(jù)需求。系統(tǒng)建成后接入總數(shù)將超過50個,通過建設(shè)數(shù)據(jù)集市全面支撐全行包括監(jiān)管報表、個人金融板塊、征信、反洗錢等應(yīng)用在內(nèi)的分析需求。
高效提速降低成本:以往銀行的審計系統(tǒng)架構(gòu)多采用“小型機+磁陣”。隨著系統(tǒng)長期服役,面臨數(shù)據(jù)加載時間長,審計模型運行和用戶查詢速度慢、并發(fā)用戶操作宕機、系統(tǒng)維護和擴展困難等問題。招商銀行審計系統(tǒng)二期項目,支持全部的審計業(yè)務(wù)數(shù)據(jù),面向全國范圍內(nèi)的審計人員使用,要求數(shù)據(jù)加載和數(shù)據(jù)處理能夠快速響應(yīng)。南大通用采用基于PC Server + Linux的Gbase 8a數(shù)據(jù)庫集群建設(shè)方案,替換原有系統(tǒng),構(gòu)建以列存儲、智能索引、高效壓縮、高可用安全組和分布式并行計算為核心技術(shù)的招商審計系統(tǒng),支持3年的歷史數(shù)據(jù)審計。集群系統(tǒng)由20個計算節(jié)點,2臺加載機,2臺監(jiān)測機和萬兆交換機組成,新的替代性方案幫助用戶實現(xiàn)了系統(tǒng)擴容、性能提升、高性價比、高可用易擴展等價值。
全國產(chǎn)平臺保障安全:現(xiàn)場檢查是銀監(jiān)會對銀行機構(gòu)業(yè)務(wù)活動及其風險狀況進行評估的重要手段,銀監(jiān)會迫切需要一套高效、實用的數(shù)據(jù)庫系統(tǒng),能夠?qū)︺y行海量業(yè)務(wù)數(shù)據(jù)在有限時間內(nèi)實現(xiàn)高效分析、準確評估,從而改進傳統(tǒng)模式,全面提高現(xiàn)場檢查工作的質(zhì)量和效率。金融數(shù)據(jù)屬國家敏感數(shù)據(jù),系統(tǒng)要滿足高安全的要求,之前采用數(shù)據(jù)庫為國外產(chǎn)品,并運行在國外的服務(wù)器、存儲系統(tǒng)之上,存在極高的安全隱患。在銀監(jiān)會現(xiàn)場檢查系統(tǒng)項目中,系統(tǒng)采用以國產(chǎn)高容錯計算機為硬件基礎(chǔ)平臺承載具有自主知識產(chǎn)權(quán)安全可控的國產(chǎn)Gbase 8a分析型數(shù)據(jù)庫,向用戶提供業(yè)務(wù)模型、數(shù)據(jù)分析挖掘、數(shù)據(jù)提取、標準化數(shù)據(jù)和數(shù)據(jù)存儲等服務(wù),并實現(xiàn)對金融數(shù)據(jù)的安全保障。
高效易用提升決策能力:隨著商業(yè)銀行數(shù)據(jù)積累日益增多,海量的歷史數(shù)據(jù)得不到有效利用,銀行管理層在把控經(jīng)營風險、制定管理決策時缺乏信息依據(jù),為了實現(xiàn)信息化的輔助決策和業(yè)務(wù)創(chuàng)新的擴展需求。常熟農(nóng)商行采用南大通用Gbase 8a新型數(shù)據(jù)庫來構(gòu)建數(shù)據(jù)中心,實現(xiàn)數(shù)據(jù)的快速入庫,將銀行賬務(wù)、銀行信貸、國際結(jié)算等業(yè)務(wù)系統(tǒng)的數(shù)據(jù)實時同步到數(shù)據(jù)中心,有效支撐歷史數(shù)據(jù)的分析應(yīng)用;通過Gbase 8a的列存儲、智能索引、高壓縮等技術(shù),有效減少磁盤I/O訪問量,在查詢統(tǒng)計分析性能方面較原有系統(tǒng)有大幅度提升;支持即席查詢和多維分析,支撐各種復(fù)雜的BI應(yīng)用分析展示;系統(tǒng)的高可擴展性能夠應(yīng)對銀行新的業(yè)務(wù)需求,并可隨著數(shù)據(jù)量的增長通過集群在線擴展的方式實現(xiàn)數(shù)據(jù)中心存儲容量的擴容。
金融自主創(chuàng)新,國產(chǎn)迎發(fā)展
與國際同行比較,中國金融業(yè)的信息化基礎(chǔ)設(shè)施建設(shè)尚未完全到位,而應(yīng)用的豐富性、完善度,管理水平和創(chuàng)新能力,仍有較大提升空間。目前,國內(nèi)金融行業(yè)信息系統(tǒng)和硬件仍大量使用國外廠商生產(chǎn)的設(shè)備,這些設(shè)備使用的操作系統(tǒng)、數(shù)據(jù)庫、芯片等關(guān)鍵技術(shù)也為國外廠商所壟斷。現(xiàn)有銀行信息系統(tǒng)仍存在著諸多安全隱患。
大數(shù)據(jù)的浪潮,推動了金融行業(yè)的自主創(chuàng)新,結(jié)合國家提出的安全可控政策,國產(chǎn)廠商將迎來難得的發(fā)展機遇。南大通用自公司創(chuàng)立之初便確定走自主創(chuàng)新的國產(chǎn)化研發(fā)之路,并堅持落實“自主可控、安全可靠”的國家政策。
在技術(shù)發(fā)展方面,Gbase將規(guī)劃并打造行業(yè)大數(shù)據(jù)處理基礎(chǔ)軟件平臺。該平臺實現(xiàn)MPP數(shù)據(jù)庫與Hadoop生態(tài)系統(tǒng)的深度融合,用MPP處理PB級、高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù),為應(yīng)用提供豐富的SQL和事務(wù)支持;用Hadoop實現(xiàn)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)處理。通過采用混合型架構(gòu),滿足行業(yè)對全數(shù)據(jù)處理的需求。為了讓平臺能夠更好地支撐行業(yè)大數(shù)據(jù)應(yīng)用,不改變用戶習(xí)慣的SQL訪問接口,架構(gòu)以MPP數(shù)據(jù)庫及計算框架為核心,將MPP運算調(diào)度引擎完全融入非關(guān)系型運算調(diào)度框架,實現(xiàn)可以同時調(diào)度關(guān)系運算和非關(guān)系運算的調(diào)度引擎,構(gòu)建統(tǒng)一的結(jié)構(gòu)化信息提取和數(shù)據(jù)類型轉(zhuǎn)換框架,將非/半結(jié)構(gòu)化數(shù)據(jù)映射為關(guān)系模型,實現(xiàn)面向關(guān)系模型的全數(shù)據(jù)統(tǒng)一視圖,從而平滑的實現(xiàn)MPP數(shù)據(jù)庫和Hadoop的統(tǒng)一調(diào)度和處理,為新型的基礎(chǔ)軟件平臺和上層應(yīng)用提供數(shù)據(jù)服務(wù)。
2014年軟件行業(yè)市場風起云涌,全新的狀態(tài)下的軟件產(chǎn)業(yè)與傳統(tǒng)軟件產(chǎn)業(yè)之間的博弈不斷,“第七屆中國軟件渠道大會”旨在幫助廣大軟件廠商帶來全新的發(fā)展機遇,不僅秉承了多年的成功經(jīng)驗,搭建軟件行業(yè)權(quán)威、導(dǎo)向性的行業(yè)平臺,還匯聚了眾多軟件廠商的參與,將最新的軟件技術(shù)進行全面展示,為各界參會嘉賓提供無與倫比的參會體驗,致力打造軟件產(chǎn)業(yè)的“權(quán)威盛會”。