《企業網D1Net》12月3日訊
引言:金融數據中心一貫是小型機的天下,這是源于金融業務以可靠性和穩定性為首要指導。不過,隨著大數據和分布式架構的流行,x86服務器憑借堪與小型機比肩的性能,正在逐步搶占小型機的市場空間。
在信息化時代,數據深刻影響著銀行的未來發展,誰擁有數據誰就獲得了話語權。數據的價值來源于對海量的客戶交易數據、客戶行為數據等的深層挖掘和分析,以便做到精準定位和營銷,進而根據不同的客戶和市場需求設計不同的金融產品,提升銀行的盈利能力。這種基于大數據的金融業務創新,目前已經成為各商業銀行的競爭焦點之一。
中國農業銀行作為中國四大國有銀行之一,據不完全統計,目前其各應用系統每年產生的結構化數據已經突破100TB,而非結構化數據更是突破1PB(1024TB)大關。這也促使農行在大數據實踐方面積極走在行業前列。
數據飛速增長IT架構挑戰嚴峻
過去,農業銀行業務系統運行平臺多是小型機,而小型機單機擴展能力有限,原有的架構越來越難以支撐飛速增長的業務應用的計算資源需求。
廠商來源單一也導致小型機的采購和維護費用高昂。特別是Unix小型機軟件封閉,操作系統、 虛擬化、數據庫等軟件采購費用相比x86架構高出數十倍,性價比較低。
于是,近年來在互聯網行業廣泛應用并持續創造價值的Hadoop大數據方案,引起了中國農業銀行的關注。Hadoop框架的一個顯著特點是,將以往需要高性能小型機才能完成的計算任務,分解為由多臺x86服務器(甚至PC機)組成的計算集群來完成。
2012年7月,農行正式引入業內廣受關注的Hadoop大數據方案。該方案首先被應用于支撐對歷史交易數據進行查詢與分析,通過采用業界流行的Hadoop分布式計算框架,處理海量結構化和非結構化數據。
經過認真的評估與論證,農行的IT技術團隊認為,由x86服務器組成的計算集群,在計算性能上可以滿足Hadoop大數據方案的要求,但在經濟性方面比小型機更具有優勢。
聯合華為試點分布式計算架構順應U2L大勢
為驗證這種可行性,2012年下半年,農行的IT技術團隊與華為的服務器研發團隊成立了聯合工作組。根據雙方達成的合作協議,華為將提供x86服務器組成計算集群,由農行在華為的計算平臺上運行Hadoop的相關軟件,并進行相關的業務測試。農行與華為均希望通過試點“x86服務器”的分布式并行計算架構,來共同應對金融大數據業務帶來的挑戰。
首先,農行希望x86服務器在計算性能上應具備“秒級響應”的能力。目前,農行在中國境內的分支機構超過2.34萬,服務的客戶超過4.2億,各營業網點、自助終端設備、網上銀行等對數據中心的訪問屬于高并發訪問。對于歷史交易數據的查詢與分析業務,為確保客戶的滿意度與銀行的工作效率,農行要求大數據處理平臺對交易明細數據的隨機查詢要在“秒級”完成響應。
“這就意味著,在1秒鐘之內,大數據處理平臺要從120TB的5年歷史交易數據中,也就是大約650億條的歷史交易記錄中,將查詢結果反饋給用戶。”農行的專家這樣跟華為說。
其次,農行希望x86服務器具備良好的經濟性。在應用x86服務器之前,農行多采用小型機來承載歷史交易數據的查詢與分析業務。為滿足業務要求,小型機首先需要存放至少5年120TB的歷史數據,同時每天新增的交易記錄在4000萬條以上,需要約100G的存儲空間。但小型機相對封閉的硬件架構設計,使得其可擴展性受到很大的限制,導致每次擴容的成本都很高昂。此外,小型機非通用的架構設計,也給農行帶來了不菲的維保費用。
“我們之所以選擇x86服務器,一方面,是因為近年來x86服務器的技術性能得到了大幅提升;另一方面,采用通用架構的x86服務器,其在采購成本、擴容成本及維護成本方面,相對于小型機的優勢也是很明顯的。”農行專家指出。
x86服務器,金融大數據 的選擇
華為在深入分析了農行對大數據處理平臺的需求后,向農行提供了基于華為RH2288 V2服務器的分布式并行計算集群進行測試。測試結果表明,華為解決方案完全滿足農行對海量數據進行分布式處理的要求。
x86服務器的分布式架構使得服務器節點可以靈活擴展,按需配置,支持飛速增長的業務和數據量,從而滿足當前與未來業務的發展需要,充分保護農行的初期和遠期投資。
x86服務器不僅在計算性能上可以滿足Hadoop大數據方案的要求,而且成本上比小型機更具有吸引力。相比小型機方案,采用華為RH2288 V2可以節約40%的運維成本,節約總體擁有成本(TCO)20%以上。
此外,華為RH2288 V2服務器支持現場調整與優化,農行可以按照業務需求對服務器的配置進行現場調優,這使服務器的計算性能在Hadoop大數據環境下發揮到最優。在測試中,農行85GB的原始數據加載(3份冗余)或者5000萬定期賬戶批量處理,華為RH2288 V2服務器計算集群能在10分鐘內完成。而對于2億條交易詳單、600并發隨機查詢的平均響應時間,華為解決方案的測試結果低于40ms,遠遠超出農行的預期。
2013年8月份,中國農業銀行在其正式生產環境的Hadoop大數據處理平臺中,采用了200臺華為RH2288 V2服務器進行部署。
此次試點表明,x86服務器已經完全可以承擔金融行業關鍵業務,銀行對小型機的技術依賴進一步降低。采用開放架構的x86服務器建設銀行的IT系統(尤其是開放平臺系統),已經成為金融行業信息化的發展趨勢之一。