海量數據是4G時代送給電信運營商最大的禮物。信息、互聯網行為數據、話單數據、WAP日志/WEB日志、互聯網網頁、投訴文本、短信文本等結構化數據以及非結構數據呈現幾何式增長,基于這些數據的挖掘、共享、分析已經成為全球電信運營商轉變商業模式的重要資源,目前,全球120家運營商中,已經有48%的企業正在實施大數據戰略。
某省移動公司是全省唯一專注移動通信領域的電信運營企業,網絡容量1400萬戶,客戶總量超過6000萬戶。作為“中國移動通信”網絡的有機組成部分,該移動公司一直專注于新技術開發和應用,并在大數據平臺的建設中走在了最前沿。
要用大數據 先改變基礎架構
現階段,三大運營商還處于數據應用的初級階段只支持流量經營、智能管道等應用,主要采用基于內部整合數據的分析挖掘手段,未能形成規模并進行商業利用。而舊有系統建設分散,無法實現資源應用共享。數據的分散存儲和傳統架構的缺陷,無法滿足新業務發展要求。
目前國內的三大運營商都在著力整合企業內外部數據,做到內部交易數據與互聯網交互數據的融合,由此開展用戶行為模式的分析與數據挖掘并支撐各類數據應用,包括:支持精細化營銷、支持產品規劃和創新、支持網絡優化和投資、支持能力開放與合作。長遠來看,運營商應建立基于大數據驅動,以消費者為中心、以客戶體驗為重心的企業運營及組織變革模式,如淘寶將數據化運營貫穿業務全過程,以選品、價格和推送作為淘寶客戶體驗的三個靈魂。
而現實的IT基礎架構則阻礙了電信行業發展大數據的步伐。首先,傳統IT系統建設分散,很難實現資源和應用共享。諸如經營分析、信令監測、綜合網絡分析、不良信息監測以及上網日志留存等大數據系統垂直建設較多,同時,系統建設存在重復建設、應用重復開發、各類專家資源無法共享等情況。
其次,數據分散存儲,標準化程度低。要對網絡流量大數據進行分析,必須實現數據的集中存儲,并有統一的標準。但從目前來看,各大運營商數據系統的數據模型并未統一,跨系統綜合分析較為困難,在原有基礎之上實現統一管理的難度較高。
最后,以聯機事務處理系統On-Line Transaction Processing (OLTP)為核心的傳統架構難以滿足新業務發展要求,海量的大數據處理需要高度易擴展、高性能的基礎架構,先行架構在存儲、計算等各個方面都不能滿足需求。
架構改變是基礎 整體效率是目標
為了推進全網數據流量的精細化經營,提升數據流量經營效益,尤其是挖掘數據價值,開拓新的業務內容和盈利項目,某省移動與浪潮合作搭建大數據平臺,建成后該平臺用于多個平臺數據分析業務。平臺會處理每月客戶賬單,確保每月1日按時為用戶提供賬單服務,河南移動每年數據符合增長率在15%左右,基礎架構完全可以滿足擴容的技術需求。
由50臺浪潮雙路服務器NF5270M3構建Hadoop平臺是系統的核心,另外三十臺NF5270M3構建數據庫處理平臺。
(浪潮NF5270M3)
網絡——容錯,高性能
系統采用了全新的IP網絡互聯架構,有足夠的容錯能力和性能來支持規模化數據處理。這一設計方案的優點是每臺服務器配置兩個10GB端口,端口通過冗余綁定方式分別與兩臺不同的匯聚交換機相連。此外通過高度冗余的三臺二層交換機將所有匯聚交換機連接為統一的子網,最大限度的提高系統的冗余度和節點間通信帶寬限制。
存儲——成本降20%,效率提高3倍
數據存儲方案也采用了分布式本地存儲方式,采用雙路服務器構建,替代原有的MNC小型機加磁盤陣列的方式,建設成本降低了20%以上。新平臺可實現海量圖片、視頻文件的快速存儲與查詢,數據處理效率提升50%以上。而且,浪潮根據該省移動數據具體需求對大數據系統做了深層次的優化,在存儲和網絡資源間更均勻地平衡負載,從而將資源利用率提高三倍多。
電信行業的大數據仍然剛剛起步
該移動完成大數據平臺建設后,不僅可以為相關企業提供數據分析報告,增加新的企業贏利點,而且可以通過對用戶位置信息和指令信息的歷史數據和當前信息分析建模,服務公共服務業,指揮交通、應對突發事件和重大活動。
此外還可以對某個時段和某個地點的用戶流量和關鍵影響因素進行分析,洞察結果可為零售商在新店設計和選址、商品促銷方式等提供決策支撐,從而幫助零售商更好地洞察客戶需求,提升營銷業績。
2014年大數據的普及和運用都達到了前所未有的高度,但仍然僅是一個起步。憑借數據分析來競爭,實現數據價值貨幣化,這是運營商的終極追求。當一個人拿著手機玩《刀塔傳奇》時,用快的軟件叫一輛出租車時,無形的數據已經形成了一個流通的氣場,這個氣場就需要運營山的大數據平臺來支持,從這個角度看,運營商的大數據建設還有更遠的路要走。
此次同該移動合作的浪潮是中國領先的云計算和大數據方案供應商,也是2014年唯一全面入圍三大電信運營商的服務器品牌廠商,在運營商集采中占有30%的份額。