社交媒體、物聯網和電子商務的興起,正在促使企業審視數據戰略,希望從大數據分析中挖掘更多的商業價值。
3月11日日本大地震發生后僅9分鐘,美國國家海洋和大氣管理局(NOAA)就發布了詳細的海嘯預警。隨即,NOAA通過對海洋傳感器獲得的實時數據進行計算機模擬,制作的海嘯影響模型出現在YouTube等網站。
NOAA的快速反應得益于其全球范圍內龐大的海洋傳感器網絡。通過這些置于海面和海底的傳感器,NOAA源源不斷地獲取全球范圍的海洋信息,并將這些信息存儲在位于美國新澤西州的數據中心。NOAA的數據中心存儲著超過20Pb(1024Tb)的數據,是美國政府最大的數據庫之一。
NOAA海嘯研究中心首席科學家Vasily Titov事后向外界表示,“雖然預警系統發揮了很大價值,但是還沒有快到足以幫助到日本仙臺沿海的居民及時躲避海嘯”。為了在更短時間內分析出準確的海嘯活動趨勢,NOAA一直在努力提升其對大數據進行處理的能力——這一機構每年的IT預算高達10億美元。
雖然花費巨大,NOAA卻對此樂此不疲,因為數據關乎生命。同樣專注于大數據投入的還有很多商業機構,比如eBay、沃爾瑪、中國移動等。他們大都希望從海量的大數據中,挖掘更多的商業價值,這關乎這些企業能否在大數據時代繼續保持基業常青。
對于任何企業來說,數據都是其商業皇冠上最為耀眼奪目的那顆寶石。伴隨著傳統的商業智能系統向縱深應用的拓展,商業決策已經越來越依賴于數據。然而,傳統的商業智能系統中用以分析的數據,大都是企業自身信息系統中產生的運營數據,這些數據大都是標準化、結構化的。事實上,這些數據只占到了企業所能獲取的數據中很小的一部分——不到15%。
通常情況下,企業的數據可以分為3種類型:結構化數據、半結構化數據和非結構化數據。其中,85%的數據屬于廣泛存在于社交網絡、物聯網、電子商務等之中的非結構化數據。這些非結構化數據的產生往往伴隨著社交網絡、移動計算和傳感器等新的渠道和技術的不斷涌現和應用。企業用以分析的數據越全面,分析的結果就越接近于真實。大數據分析意味著企業能夠從這些新的數據中獲取新的洞察力,并將其與已知業務的各個細節相融合。
IDC 在其關于大數據的報告中,闡述了利用大數據的商業價值:領軍企業與其他企業之間最大的顯著差別在于新數據類型的引入。那些沒有引入新的分析技術和新的數據類型的企業,不太可能成為其行業的領軍者。
美國奧巴馬總統委員會的科學技術(PAST)顧問、Teradata公司首席技術官Stephen Brobst告訴《商業價值》記者:“過去3年里產生的數據量比以往4萬年的數據量還要多,大數據時代的來臨已經毋庸置疑。我們即將面臨一場變革,新興大數據將成為企業發展的當務之急,而常規技術已經難以應對Pb級的大規模數據量。這一變化所帶來的挑戰,是成功的企業在未來發展過程中必須要面對的。只有那些能夠運用這些新數據型態的企業,方能打造可持續的重要競爭優勢。”
“數”中黃金屋
沃爾瑪是最早通過利用大數據而受益的企業之一,一度擁有世界上最大的數據倉庫系統。通過對消費者的購物行為等非結構化數據進行分析,沃爾瑪成為最了解顧客購物習慣的零售商,并創造了“啤酒與尿布”的經典商業案例。早在2007年,沃爾瑪就建立了一個超大的數據中心,其存儲能力高達4Pb以上。《經濟學人》在2010年的一篇報道中指出,沃爾瑪的數據量已經是美國國會圖書館的167倍。
中國移動集團山西有限公司通過大數據分析,對企業運營的全業務進行針對性的監控、預警、跟蹤。系統在第一時間自動捕捉市場變化,再以最快捷的方式推送給指定負責人,使他在最短時間內獲知市場行情。
“全面獲取業務信息非常重要,有時候甚至能顛覆常規分析思路下做出的結論。” 中國移動集團山西有限公司業務支撐系統部經理王峰說。比如,一個客戶使用最新款的諾基亞手機,每月準時繳費、平均一年致電客服3次,使用WEP和彩信業務。如果按照傳統的數據分析,可能這是一位客戶滿意度非常高、流失概率非常低的客戶。事實上,當搜集了包括微博、社交網絡等新型來源的客戶數據之后,這位客戶的真實情況可能是這樣的:客戶在國外購買的這款手機,手機中的部分功能在國內無法使用,在某個固定地點手機經常斷線,彩信無法使用——他的使用體驗極差,正在面臨流失風險。
“我們正在打破傳統數據源的邊界,更加注重社交媒體等新型數據來源。通過各種渠道獲取盡可能多的客戶信息,并從這些數據中挖掘更多的價值。”王峰說。
通過大數據進行用戶行為的分析,互聯網企業的起步普遍更早一些。“5年前我們就建立了大數據分析平臺。在這個平臺上,可以將結構化數據和非結構化數據結合在一起,通過分析促進eBay的業務創新和利潤增長。” eBay分析平臺高級總監Oliver Ratzesberger說。
現在,eBay的分析平臺每天處理的數據量高達100PB,超過了納斯達克交易所每天的數據處理量。為了準確分析用戶的購物行為,eBay定義了超過500種類型的數據,對顧客的行為進行跟蹤分析。
在早期,eBay網頁上的每一個功能的更改,通常由對該功能非常了解的產品經理決定,判斷的依據主要是產品經理的個人經驗。而通過對用戶行為數據的分析,網頁上任何功能的修改都交由用戶去決定。“每當有一個不錯的創意或者點子,我們都會在網站上選定一定范圍的用戶進行測試。通過對這些用戶的行為分析,來看這個創意是否帶來了預期的效果。” Oliver Ratzesberger說。
更顯著的變化反應在廣告費上。eBay對互聯網廣告的投入一直很大,通過購買一些網頁搜索的關鍵字,將潛在客戶引入eBay網站。為了對這些關鍵字廣告的投入產出進行衡量,eBay建立了一個完全封閉式的優化系統。通過這個系統,可以精確計算出每一個關鍵字為eBay帶來的投資回報。通過對廣告投放的優化,自 2007 年以來,eBay 產品銷售的廣告費降低了99%,頂級賣家占總銷售額的百分比卻上升至32%。
掘金大數據
沃爾瑪、eBay等領先企業在大數據方面的獲益,毫無疑問起到了示范作用。IBM不久前發布的“全球CIO調查之CIO重要啟示”指出,已經有83%的CIO擁有涵蓋商業智能和分析的遠期計劃,并且CIO們開始更多地關注數據,而非應用。ITValue社區的調研結果也顯示,57%的中國CIO對數據的關注程度超過應用。
凡此種種對于大數據的普及,確實是利好。一方面,商業智能的普及,讓企業對數據的重要性已經有了充分認識;另一方面,社交媒體、電子商務、物聯網等新應用的興起,打破了企業原有價值鏈的圍墻,僅對原有價值鏈各個環節的數據進行分析,已經不能滿足需求。他們需要借助大數據戰略打破數據邊界,了解更為全面的運營及運營環境的全景圖。
既然大數據關乎企業智商,那么,駕馭大數據的能力也自然成為企業的核心能力。這種能力將幫助企業尋找最優的模式支持商業決策,并確保做出接近于最優的商業決策。
但是,駕馭大數據的能力并不那么容易獲得。雖然獲取社交媒體、電子商務、物聯網等新應用中的數據并不困難,但是傳統的商業智能系統與分析軟件,面對以視頻、圖片、文字等非結構化數據為主的大數據時,往往束手無策,缺少有效的分析工具和方法。這也為大數據的供應商們找到了更為廣闊的利潤增長點。
Teradata公司2011年第1季度的營收比2010年同期增長了18%。在該公司總裁兼首席執行官Mike Koehler看來,大數據需求市場的強勁表現,是營收增長的重要原來,“許多公司面臨著從持續呈幾何級數增長的數據中管理以及萃取數據價值的挑戰。此外,網絡互動、社交媒體、移動計算和傳感器等來源產生的新數據元素,提供了企業利用分析推動創新和贏得競爭的新機遇。這對數據倉庫的擴展性和管理復雜性提出了前所未見的極高要求,而這正是我們的擅長之處。”
為了增強在大數據分析領域的優勢, Teradata還收購Aster Data公司,以增強其非傳統數據分析的能力,突破了SQL分析的限制,協助企業從全部數據中獲取更多價值。
EMC是另一家將大數據作為重要發展戰略的IT公司。2011年EMC World上,大數據和云計算成為EMC提及頻率最高的詞匯。EMC希望借助在大數據和云計算兩個方向的耕耘,重新定位這家傳統存儲廠商的未來戰略。
IBM在大數據領域的優勢,相比于Teradata和EMC則更為全面。IBM在硬件與軟件方面的優勢,在大數據解決方案上得到了延續——IBM希望提供端到端、整體的大數據解決方案。而機器人“沃森”在人機大戰中獲勝,更成為IBM為其大數據分析解決方案加分的例證。
此外,HP、Oracle等公司在大數據領域也有著明顯的優勢。從目前的態勢來看,由于大數據的技術門檻較高,在大數據領域展開競爭的IT公司,大都仍然是在數據存儲、分析等領域有著傳統優勢的廠商。
同時,隨著企業客戶越來越看中供應商的整體解決方案交付能力,大數據又是涉及數據的獲取、存儲、分析等眾多技術與應用的集合。隨著大數據需求的不斷爆發,將加速各大IT公司在這一領域的收購步伐,一些提供單一技術方案的IT公司,很可能難逃被收購的命運。