當前,金融行業面臨著兩大難題:一是海量數據的存儲及查詢分析,二是信息系統的安全可控。傳統的數據存儲方案已無法滿足銀行等金融企業大數據的需求,銀行IT系統隨著數據量的增大,查詢性能急劇下降,甚至達到無法響應的程度。另一方面,去年6月發生的棱鏡門事件及隨后中央網絡安全信息化小組的成立,更加強化了金融網絡和信息系統實現自主可控的重要性。
面對大數據時代的數據分析與數據安全問題,堅持自主創新、尋求國產化替代,將成為國內金融業信息化的突圍之路。南大通用自主研發的國產新型數據庫Gbase 8a數據庫能夠實現大數據的全數據存儲管理與高效分析,為金融行業大數據應用提供完整的數據分析與安全解決方案。Gbase 8a已在金融、電信、政務、安全等領域取得規模化市場應用,在銀行業信息系統中,銀監會、農業銀行、工商銀行、招商銀行和地方農商行均已上線或正在測試該產品。
挑戰大數據,國產可期待
金融行業的經營、管理及監管類信息系統時刻產生并運行著海量數據,對這些大數據進行分析挖掘,可以更好地為金融客戶提供增值服務,并對企業運營創新提供有力支撐。
南大通用國產新型數據庫Gbase 8a是面向大數據分析類應用領域的一款高性能國產新型數據庫產品,用于滿足數據密集型行業日益增大的數據查詢、數據統計、數據分析、數據挖掘和數據備份等需求,可用做數據倉庫系統、BI系統和決策支持系統的承載數據庫。其商業價值主要體現在八個方面:一級價值包括提速、省盤、省錢、成云等核心優勢和直接為客戶帶來的效益,二級價值包括全文、轉非、全數據、可視化等產品的創新功能帶來的價值。
與國外同類廠商相比,南大通用具有服務質量好、團隊規模大、服務性價比高的本地服務優勢,得到了國內金融、電信、軍工、政府及能源等行業客戶的一致認可;與國內其他數據庫相比,Gbase 8a的研發起步早(2007年),發展快(三代產品),技術領先,產品應用范圍廣。
根據賽迪顧問2014年發布的平臺軟件和大數據應用市場年報:南大通用2013年實現數據庫軟件產品銷售額1.07億元人民幣,市場份額1.74%,蟬聯國產數據庫市場第一,被認定為行業“可期待者”;未來幾年隨著國產替代進程的推進,專注于行業大數據存儲管理的Gbase數據庫,將以市場“挑戰者”身份迎來發展機遇。
2013年中國數據庫管理系統市場廠商競爭態勢四項限圖
數據來源:賽迪顧問 2014,02
技術世界同步,國產可替代
伴隨大數據技術的快速發展,海量數據管理能力,包括多類型、變化快、高可用性、低成本、高可擴展性等需求,給金融行業的數據戰略帶來了巨大挑戰。南大通用堅持自主創新,新型數據庫Gbase 8a與Oracle等傳統通用型數據庫相比,在數據查詢和統計分析方面的性能可達到10-100倍提升,能較好地滿足金融行業對數據分析高速處理的需求。較目前市場上國外新型數據庫(EMC的Greenplum、HP的Vertica、SAP的Sybase IQ)的主流產品,在分析領域國產數據庫已經與國外產品站在同一起跑線上。
國產新型數據庫Gbase 8a采用了列存儲、自適應壓縮、智能索引等核心技術,其集群基于Shared Nothing架構,采用MPP(大規模并行處理)等關鍵技術,并內嵌了高性能的全文檢索和分布式文件系統,實現了高效的大數據存儲管理和查詢分析。產品能夠在百TB至PB級數據規模下實現數據查詢的秒級響應;幫助用戶節省50%-90%存儲空間;進而為客戶節省50%-90%的投資和運維成本;對結構化、半結構化和非結構化數據進行統一處理;實現千億級文本條目全文檢索的秒級響應;提供全過程可視化的數據查詢分析及展現工具。
金融大數據,國產已應用
大數據時代,國內銀行業務的運行越來越依賴信息系統的支撐,國外供應商的技術封鎖和高采購成本讓IT部門受制于人。越來越多的銀行用戶,開始在新建信息系統上使用國產數據庫,或在已有系統的升級、完善方面尋求國產可替代方案,從而降低風險和成本,提高企業核心競爭力。下面就Gbase數據庫在銀行業的實際應用場景及解決方案進行簡述。
海量數據復雜運算處理:銀行業早期建立的分析類應用基于國外數據庫建設,隨著數據量的不斷增大、接入系統的增多,原數據庫已經很難在指定的時間窗口中完成統計,也無法繼續接入其它的業務系統數據,進而無法滿足銀行內部數據分析和監管機構的數據監管要求。在中國農業銀行數據倉庫項目中,南大通用采用Gbase 8a數據庫集群建設,共28個節點,包括14個safegroup,另部署4臺加載機實現集群的數據分發加載。新系統能夠支持500TB以上數據、超過1000億行的數據庫表、可支撐每天處理4000個以上的復雜作業。同時具有線性可擴展能力,較高比例的數據壓縮,能夠基于x86和Linux開放平臺搭建,從而降低總體成本。數據加工后將支撐信用卡分析、借記卡分析、電子銀行分析和資金轉移計價等應用的數據需求。系統建成后接入總數將超過50個,通過建設數據集市全面支撐全行包括監管報表、個人金融板塊、征信、反洗錢等應用在內的分析需求。
高效提速降低成本:以往銀行的審計系統架構多采用“小型機+磁陣”。隨著系統長期服役,面臨數據加載時間長,審計模型運行和用戶查詢速度慢、并發用戶操作宕機、系統維護和擴展困難等問題。招商銀行審計系統二期項目,支持全部的審計業務數據,面向全國范圍內的審計人員使用,要求數據加載和數據處理能夠快速響應。南大通用采用基于PC Server + Linux的Gbase 8a數據庫集群建設方案,替換原有系統,構建以列存儲、智能索引、高效壓縮、高可用安全組和分布式并行計算為核心技術的招商審計系統,支持3年的歷史數據審計。集群系統由20個計算節點,2臺加載機,2臺監測機和萬兆交換機組成,新的替代性方案幫助用戶實現了系統擴容、性能提升、高性價比、高可用易擴展等價值。
全國產平臺保障安全:現場檢查是銀監會對銀行機構業務活動及其風險狀況進行評估的重要手段,銀監會迫切需要一套高效、實用的數據庫系統,能夠對銀行海量業務數據在有限時間內實現高效分析、準確評估,從而改進傳統模式,全面提高現場檢查工作的質量和效率。金融數據屬國家敏感數據,系統要滿足高安全的要求,之前采用數據庫為國外產品,并運行在國外的服務器、存儲系統之上,存在極高的安全隱患。在銀監會現場檢查系統項目中,系統采用以國產高容錯計算機為硬件基礎平臺承載具有自主知識產權安全可控的國產Gbase 8a分析型數據庫,向用戶提供業務模型、數據分析挖掘、數據提取、標準化數據和數據存儲等服務,并實現對金融數據的安全保障。
高效易用提升決策能力:隨著商業銀行數據積累日益增多,海量的歷史數據得不到有效利用,銀行管理層在把控經營風險、制定管理決策時缺乏信息依據,為了實現信息化的輔助決策和業務創新的擴展需求。常熟農商行采用南大通用Gbase 8a新型數據庫來構建數據中心,實現數據的快速入庫,將銀行賬務、銀行信貸、國際結算等業務系統的數據實時同步到數據中心,有效支撐歷史數據的分析應用;通過Gbase 8a的列存儲、智能索引、高壓縮等技術,有效減少磁盤I/O訪問量,在查詢統計分析性能方面較原有系統有大幅度提升;支持即席查詢和多維分析,支撐各種復雜的BI應用分析展示;系統的高可擴展性能夠應對銀行新的業務需求,并可隨著數據量的增長通過集群在線擴展的方式實現數據中心存儲容量的擴容。
金融自主創新,國產迎發展
與國際同行比較,中國金融業的信息化基礎設施建設尚未完全到位,而應用的豐富性、完善度,管理水平和創新能力,仍有較大提升空間。目前,國內金融行業信息系統和硬件仍大量使用國外廠商生產的設備,這些設備使用的操作系統、數據庫、芯片等關鍵技術也為國外廠商所壟斷。現有銀行信息系統仍存在著諸多安全隱患。
大數據的浪潮,推動了金融行業的自主創新,結合國家提出的安全可控政策,國產廠商將迎來難得的發展機遇。南大通用自公司創立之初便確定走自主創新的國產化研發之路,并堅持落實“自主可控、安全可靠”的國家政策。
在技術發展方面,Gbase將規劃并打造行業大數據處理基礎軟件平臺。該平臺實現MPP數據庫與Hadoop生態系統的深度融合,用MPP處理PB級、高質量的結構化數據,為應用提供豐富的SQL和事務支持;用Hadoop實現半結構化、非結構化數據處理。通過采用混合型架構,滿足行業對全數據處理的需求。為了讓平臺能夠更好地支撐行業大數據應用,不改變用戶習慣的SQL訪問接口,架構以MPP數據庫及計算框架為核心,將MPP運算調度引擎完全融入非關系型運算調度框架,實現可以同時調度關系運算和非關系運算的調度引擎,構建統一的結構化信息提取和數據類型轉換框架,將非/半結構化數據映射為關系模型,實現面向關系模型的全數據統一視圖,從而平滑的實現MPP數據庫和Hadoop的統一調度和處理,為新型的基礎軟件平臺和上層應用提供數據服務。