去年九月,銀監會發布了39號文,中心思想要求銀行信息技術“安全可控”。它要求2015年起,各銀行業金融機構對安全可控信息技術的應用以不低于15%的比例逐年增加,直至2019年達到不低于75%的總體占比。雖然沒有明確指出,但是“安全可控”的要求顯然對國產IT產品更有利。事實上,39號文提出的指導方向,包括“優先選擇愿意在核心知識和關鍵技術領域進行合作的機構,避免對單一產品或技術的依賴,”“有序推進整體架構自主設計、核心應用自主研發、核心知識自主掌握、關鍵技術自主應用”也證實了銀監會的態度——鼓勵銀行使用國產技術,國外廠商要在銀行有一席之地則必須要愿意分享核心技術。
現階段,我國銀行的IT系統高度依賴“IOE”(以IBM為代表的小型機,以Oracle為代表的數據庫軟件、以EMC為代表的高端存儲)等國外廠商。39號文的發布讓大家認為銀行業的信息技術立刻就要掀起國產化的大浪,但是今年四月,銀監會宣布了暫緩39號文新規的決定。這個決定并不出乎意料。首先,國外IT廠商不會對39號文新規無動于衷。事實上,包括美國商會在內的多個國外商業團體向我國政府提出了抗議,聲稱新規違反了WTO承諾,干涉了商業機構的采購活動。然而,對39號文新規的阻力還來自于我國銀行業本身。眾所周知,銀行業對IT系統的可靠性和穩定性要求極高,系統故障常常意味著直接的金錢損失。所以,銀行對IT產品的故障抱著“零容忍”的態度。我國的信息技術因為起步晚,確實和國外還存在著差距,尤其在操作系統和數據庫這樣的基礎軟件領域。同時,我國的銀行業正在高速發展,不斷地推出新產品新服務,還要應對互聯網金融等各種變化,更需要穩定可靠的IT系統作為業務的保障。銀行愿意使用經過長期驗證的“IOE”配備情有可原。在政策上要求銀行冒業務風險選用在先進性、可靠性、穩定性以及成熟度方面還和國外有差距的自主產品是不現實的,選用什么樣的產品還需要銀行依據業務情況自己來決定。
如此看來,我國的IT廠商似乎短期內無法得到銀行業的青睞。然而,大數據時代的到來改變了這一格局。隨著網上銀行、手機銀行的發展和銀行新業務、新產品、新用戶的增多,銀行的數據量出現了爆發。數據分析的規模和復雜度都超過了傳統數據庫的處理能力,本應該提供堅實后盾的“IOE”配備在海量數據面前漸漸顯得力不從心。一天一次的常規“跑批”(批量數據計算)正在花費越來越多的時間,面臨著無法在當天完成的可能。為了解決這樣的問題,銀行需要對數據處理系統進行升級。以“IOE”為代表的架構采用縱向擴展(提升單機性能)的策略來升級,單機性能不可能無限提高,這樣的策略有著顯而易見的瓶頸。而銀行的數據量每天都在增長,對系統不斷的升級是必然的??梢灶A見的是,在高性能端,數據處理系統的升級將越來越困難,同等資金換來的性能將越來越少。在這樣的情形下,銀行需要采用完全不同的數據處理技術。近年來得到長足發展的大數據技術就是為了體量巨大且不斷增長的數據而生的,而大數據技術就是國內IT廠商的機會。計算機技術發展時,我國遠遠落在國外之后,這個差距在互聯網發展時已經得到了大大縮短。今天,在大數據時代的開端,我國已經有了不輸國外的經濟土壤、政策環境和人才儲備,國外的技術不再有不可望其項背的優勢。事實上,我國已經有了性能比肩甚至超越硅谷同行的大數據產品。
日前,某全國性股份制商業銀行便面臨著將數據倉庫業務從傳統數據庫遷移到大數據平臺的任務。在大數據平臺的選擇上,該銀行進行了多方考量。該銀行的首要目標是解決現有數據庫處理能力不足的問題。所以,采購的大數據平臺必須有極強的數據處理能力,它需要能夠輕松應對涉及超寬表(寬度在幾萬字節)、多張表(多達幾十張)的關聯和聚合,需要能夠快速地完成銀行每天TB級別數據量的分析。第二,該銀行原先使用Oracle數據庫,所以業務邏輯由SQL和和Oracle的過程語言PL/SQL寫就,這也是銀行的分析人員最熟悉的數據分析語言。所以,大數據平臺需要提供SQL和PL/SQL的支持,以便銀行將分析業務直接遷移到新的平臺運行,否則,銀行將需要對業務進行大量改寫,銀行員工也需要重新學習和適應,遷移成本過高。第三,大數據平臺需要良好的擴展性。銀行的數據還在快速增長中,可預見的是,銀行需要對數據處理系統進行進一步的擴容和處理能力的升級。銀行要求采購的大數據平臺的存儲和計算能力能夠方便地擴展,為未來更大的數據量做好準備。該銀行對市場上常見的大數據數據倉庫產品的可用性、架構優勢和平臺依賴性三個方面就銀行的數據倉庫場景——數據量在TB級別的分析場景——進行了調研。可用性的內容包括對SQL和PL/SQL的支持以及是否有界面化的運維工具。架構優勢的內容包括產品的擴展性、性能和容錯性。平臺依賴性描述該產品是否必須在特殊的硬件設備上運行。
調研中,銀行發現,主流大數據數據倉庫各有其優勢和劣勢,不依賴平臺(可以部署在通用商業服務器上)的產品可用性和架構優勢往往較低。而可用性高而架構優勢明顯的產品往往對平臺依賴較高,必須使用自有的小型機或者一體機,直接導致硬件成本高昂。經過多方調研和全面測試,銀行選擇了具有綜合優勢的Transwarp Inceptor,它是上海星環科技開發的Transwarp Data Hub(TDH)分布式一站式大數據處理平臺下的交互式內存分析引擎,具有高可用性和明顯的架構優勢,同時不依賴特殊平臺,可以直接部署在商用服務器上。產品雖然年輕,但是在交通、物流、電信、能源等行業已經有很多落地案例,經過了大量的驗證,加上在測試中穩定而出色的表現,打消了該銀行對國產IT產品可靠性、穩定性方面的擔憂。
星環科技為銀行提供的解決方案如下圖所示:
1. 使用TDH下的交互式SQL分析引擎Transwarp Inceptor支持銀行的數據倉庫業務。Transwarp Inceptor全面支持SQL2003,且支持80%的PL/SQL語法,經測試,Transwarp Inceptor 100%支持該銀行數據倉庫業務,銀行的數據分析任務不需要經過改寫便可輕松遷移至TDH平臺。
2. Transwarp Inceptor采用分布式內存計算方式,將涉及海量數據的復雜任務分割成小任務交給多臺機器同時處理,加快計算速度。同時,Transwarp Inceptor將計算中間結果放在內存中,利用內存的高速隨機讀寫進一步提升計算速度。TDH平臺處理銀行的數據倉庫業務相對于銀行原系統速度有了十幾倍的提高,使銀行可以輕松完成每天的分析任務。
3. 不同于傳統數據庫的縱向擴展策略,TDH采用向計算集群添加服務器的方式來橫向擴展處理能力,這樣的策略保證投入和處理能力的提升是線性關系——多少投入就帶來多少提升。橫向擴展的策略讓TDH的擴展性極佳,可以無限提升存儲和計算能力。
錦上添花的是TDH計算集群無須超高性能的服務器,經濟的通用服務器便可以用于搭建TDH集群,使得TDH解決方案具有極高的性價比。而且TDH配備的JDBC接口完美對接上層報表系統,銀行的數據分析人員只需按照以往的工作習慣繼續使用上層應用,無需重新適應新的系統。下面是一張貸款銷售分析截圖:
該銀行在業務中對一家國內廠商產品的選擇無疑是對國產信息技術的鼓勵,更值得一提的是這個選擇并不是政策要求的,而是基于業務的需求和產品的先進性做出的。幾年前,國產的個人IT產品還僅僅是“廉價低質量”的代名詞?,F在,聯想、小米、華為等品牌不僅被國人青睞,還在世界范圍內廣受歡迎。這些品牌的成功不在于政策的扶持,而是真正做出了客戶需要的產品。在企業級的IT產品上,國產廠商和國外廠商雖然還有一定差距,但是在技術不斷革新的今天,這個差距在不斷縮短。相信我國會有越來越多的企業級IT廠商做出客戶需要的優秀產品,躋身世界一流的行列。