“在本次Hadoop大數據項目中,華為向農行提供了良好的計算平臺,除了RH2288 V2服務器具有比較高的性價比之外,華為還能夠提供快速響應客戶需求的研發能力、以及業界最快捷的售后服務,解除了農行的后顧之憂,是農行值得信賴的IT供應商。”
客戶簡介
中國農業銀行(Agricultural Bank of China),簡稱農行,成立于1951年,是中國四大商業銀行之一。中國農業銀行在中國境內擁有2.34萬家分支機構,服務逾4.2億客戶。2012年,在美國《財富》雜志全球500強排名中,中國農業銀行位列第84位。
業務挑戰
商業銀行的信息化建設涉及多個方面,從面向客戶服務的網上銀行、電話銀行、移動支付、呼叫中心,到面向企業經營與管理的電子票據、電子報表、業務影像、自動化辦公等,信息化已經滲透到銀行業務與管理的方方面面,并成為商業銀行核心競爭力的一項重要內容。
隨著信息化的快速發展,商業銀行產生的各類電子數據近年來呈幾何級數增長,形成了海量的數據。據不完全統計,目前中國農業銀行各應用系統每年產生的結構化數據已經突破100TB,而非結構化數據更是突破1PB(1024TB)大關。
在信息化時代,數據深刻影響著銀行的未來發展,誰擁有數據誰就獲得了話語權。數據的價值來源于對海量的客戶交易數據、客戶行為數據等的深層挖掘和分析,以便做到精準定位和營銷,進而根據不同的客戶和市場需求設計不同的金融產品,提升銀行的盈利能力。這種基于大數據的金融業務創新,目前已經成為各商業銀行的競爭焦點之一。
對大數據進行挖掘與分析,一是要能夠廉價處理海量的數據,例如一次性可處理100GB甚至更高的數據量;二是要能夠敏捷處理非結構化的海量數據,例如可以從海量的客戶電話投訴記錄中挖掘出有價值的營銷機會點。
近年來,隨著Hadoop大數據方案在互聯網行業廣泛應用并持續創造價值,中國農業銀行開始關注并研究大數據方案在金融領域的應用。2012年7月,農行正式引入業內廣受關注的Hadoop大數據方案,并對相關的軟硬件技術及其在銀行內的應用可行性進行了充分的研究,明確了大數據方案在農行的應用場景。
“在互聯網時代,我們必須要轉變經營方式,用互聯網的思維來做金融,為客戶提供創新的、量身定制的、體驗良好的金融服務,這樣才能持續保持商業銀行的競爭力”,農行的專家這樣認為。
農行的大數據方案首先被應用于支撐對歷史交易數據進行查詢與分析,其采用業界流行的Hadoop分布式計算框架,具備處理海量結構化和非結構化數據的能力。Hadoop框架的一個顯著特點是,將以往需要高性能小型機才能完成的計算任務,分解為由多臺x86服務器(甚至PC機)組成的計算集群來完成。在計算平臺的選擇上,農行的IT技術團隊在經過認真的評估與論證后認為,由x86服務器組成的計算集群,在計算性能上可以滿足Hadoop大數據方案的要求,但在經濟性方面比小型機更具有優勢。
為了驗證這種可行性,2012年下半年,農行的IT技術團隊與華為的服務器研發團隊成立了聯合工作組。根據雙方達成的合作協議,華為將提供x86服務器組成計算集群,由農行在華為的計算平臺上運行Hadoop的相關軟件,并進行相關的業務測試。農行與華為均希望通過試點“x86服務器”的分布式并行計算架構,來共同應對金融大數據業務帶來的挑戰。
首先,農行希望x86服務器在計算性能上應具備“秒級響應”的能力。目前,農行在中國境內的分支機構超過2.34萬,服務的客戶超過4.2億,各營業網點、自助終端設備、網上銀行等對數據中心的訪問屬于高并發訪問。對于歷史交易數據的查詢與分析業務,為確保客戶的滿意度與銀行的工作效率,農行要求大數據處理平臺對交易明細數據的隨機查詢要在“秒級”完成響應。
“這就意味著,在1秒鐘之內,大數據處理平臺要從120TB的5年歷史交易數據中,也就是大約650億條的歷史交易記錄中,將查詢結果反饋給用戶”,農行的專家這樣跟華為說。
其次,農行希望x86服務器具備良好的經濟性。在應用x86服務器之前,農行多采用小型機來承載歷史交易數據的查詢與分析業務。為滿足業務要求,小型機首先需要存放至少5年120TB的歷史數據,同時每天新增的交易記錄在4000萬條以上,需要約100G的存儲空間。但小型機相對封閉的硬件架構設計,使得其可擴展性受到很大的限制,導致每次擴容的成本都很高昂。此外,小型機非通用的架構設計,也給農行帶來了不菲的維保費用。
“我們之所以選擇x86服務器,一方面,是因為近年來x86服務器的技術性能得到了大幅提升;另一方面,采用通用架構的x86服務器,其在采購成本、擴容成本及維護成本方面,相對于小型機的優勢也是很明顯的”,農行的專家說。
談到未來的發展趨勢,農行的專家表示,開放化、標準化一直是全球IT產業發展的規律之一,因為它可以帶來更高的性價比、更出色的擴展性、更優秀的兼容性和更大的投資回報率。在談到與華為的合作時,該專家表示,他期待農行與華為合作成功,也希望華為的x86服務器能夠為金融業的信息化建設注入新的活力。
解決方案
基于農行與華為聯合工作組的良好運作,華為在深入分析了農行對大數據處理平臺的需求后,向農行提供了基于華為RH2288 V2服務器的分布式并行計算集群進行測試。農行的測試結果表明,華為解決方案完全滿足農行對海量數據進行分布式處理的要求。
華為RH2288 V2服務器基于業界通用的x86架構設計,相比農行現有的小型機系統,其CPU、硬盤、內存等配件可以很容易從市場上獲取,因而具備良好的可擴展性和經濟性。農行評估后認為,相比小型機方案,采用華為RH2288 V2可以節約40%的運維成本,節約總體擁有成本(TCO)20%以上。
同時,分布式的計算集群架構使得服務器節點可以按需配置,系統具備從TB級到PB級的數據處理能力,完全滿足農行當前與未來業務的發展需要,充分保護農行的初期和遠期投資。
最令農行感到滿意的是,華為RH2288 V2服務器支持現場調整與優化,農行可以按照業務需求對服務器的配置進行現場調優,從而使服務器的計算性能在Hadoop大數據環境下發揮到最優。在測試中,農行85GB的原始數據加載(3份冗余)或者5000萬定期賬戶批量處理,華為RH2288 V2服務器計算集群能在10分鐘內完成。而對于2億條交易詳單、600并發隨機查詢的平均響應時間,華為解決方案的測試結果低于40ms,遠遠超出農行的預期。
基于華為RH2288 V2服務器在測試過程中的優秀表現,及其開放架構帶來的良好經濟性,2013年4月,中國農業銀行宣布,在其正式生產環境的Hadoop大數據處理平臺中,將采用200臺華為RH2288 V2服務器進行部署。
客戶收益
目前,采用開放架構的x86服務器建設銀行的IT系統(尤其是開放平臺系統),已經成為金融行業信息化的發展趨勢之一。
“在本次Hadoop大數據項目中,華為向農行提供了良好的計算平臺,除了RH2288 V2服務器具有比較高的性價比之外,華為還能夠提供快速響應客戶需求的研發能力、以及業界最快捷的售后服務,解除了農行的后顧之憂,是農行值得信賴的IT供應商”,農行的一位專家這樣評價道。