大數(shù)據(jù)這個話題,從西到東,從IT業(yè)內(nèi)到政府官員,已經(jīng)火了兩年,但還沒有完全一致的定義。目前業(yè)界一般認同Gartner的描述,即:凡是具有“3V”特性的數(shù)據(jù)集,就是大數(shù)據(jù)。其一為Volume,極大的數(shù)據(jù)量;其二為Variety,極復(fù)雜的數(shù)據(jù)類型與數(shù)據(jù)來源;其三為Velocity,極高的數(shù)據(jù)產(chǎn)生、傳播,以及反應(yīng)速度。
在我看來,組織決策者要跨越大數(shù)據(jù)時代的“數(shù)據(jù)鴻溝”,就需要具備大數(shù)據(jù)戰(zhàn)略、大數(shù)據(jù)管理和大數(shù)據(jù)生態(tài)三大能力。
大數(shù)據(jù)戰(zhàn)略:視野,觀點,價值
大數(shù)據(jù)的價值已經(jīng)為電商、快消、廣告等多個行業(yè)的案例所證明,但挖掘出大數(shù)據(jù)的價值并不容易。我認為,企業(yè)決策者在制定大數(shù)據(jù)戰(zhàn)略時,需要從Vision(視野)、View(觀點)、Value(價值)這“新3V”入手。
第一點從視野講,企業(yè)CEO一定要把大數(shù)據(jù)、云計算作為企業(yè)核心戰(zhàn)略,而不能僅僅把大數(shù)據(jù)當成是企業(yè)IT管理的一個方面。要下決心投入,無論軟件方面還是硬件設(shè)施。
第二是要有企業(yè)自己的觀點,即收集和處理數(shù)據(jù)的策略。例如股市,大家很多時候面對同樣的數(shù)據(jù),但是對數(shù)據(jù)的處理方式是不一樣的,有些人說股市下行時候投入,有些人說股市下行時候要撤出。對同樣的數(shù)據(jù),甚至同樣的軟件,決策方式、觀點不一樣,處理結(jié)果就會大大不同,這個應(yīng)該成為公司決策體系的一個核心。
第三是價值,要在確定思路后,把對數(shù)據(jù)的分析,轉(zhuǎn)化為能解決實際問題的執(zhí)行,從而實現(xiàn)大數(shù)據(jù)的價值。正如馬云最近所舉的例子,在淘寶上比基尼賣得最好的省份是哪兒?是內(nèi)蒙古和新疆,而不是人們通常會認為的海南、廣東等沿海地區(qū)。大數(shù)據(jù)能幫助人們發(fā)現(xiàn)事物間隱藏的內(nèi)在關(guān)聯(lián),但并不意味著能直接帶來社會和商業(yè)價值。如果你是泳衣、防曬霜的生產(chǎn)商,又會制定怎樣的營銷策略呢?
大數(shù)據(jù)管理:簡易、開放、靈活
大數(shù)據(jù)戰(zhàn)略重要,但更重要的是如何執(zhí)行,也就是大數(shù)據(jù)管理問題。也可以通過三步走的方式來解決。首先是如何獲取、存儲和保護數(shù)據(jù);其二是數(shù)據(jù)豐富,即如何清洗、發(fā)現(xiàn)不同數(shù)據(jù)間的數(shù)據(jù)相關(guān)性;其三是數(shù)據(jù)洞察力,即通過分析、呈現(xiàn)與決策工具獲得洞察力,并最終通過付諸行動,產(chǎn)生價值。
微軟的大數(shù)據(jù)管理平臺,有著對大數(shù)據(jù)生命周期的全方位考慮,這也是為什么我們將Hadoop等開源架構(gòu),整合到微軟的大數(shù)據(jù)平臺里,一方面是將Hadoop作為對非關(guān)系型數(shù)據(jù)處理的補充;另一方面是將Hadoop作為一個服務(wù),整合到微軟的公有云與私有云平臺中。值得強調(diào)的是,微軟不是簡單地將Hadoop遷移到微軟的大數(shù)據(jù)平臺上,而是真正的融合,會系統(tǒng)地考慮其可用性、可靠性、安全性、部署的簡易性與靈活性,乃至對Hadoop上工具的集成與優(yōu)化。與此同時,微軟也會堅持開源的原則,將在Hadoop上做的一些研發(fā)工作回饋給社區(qū),與社區(qū)形成良性互動。
大數(shù)據(jù)生態(tài):平臺商、數(shù)據(jù)商、開發(fā)者、數(shù)據(jù)玩家
未來的大數(shù)據(jù)生態(tài),同樣會遵循最樸素的市場規(guī)則,不同角色的組織和個人,通過逐漸成熟的交換機制,各取所需——平臺商提供數(shù)據(jù)交易、數(shù)據(jù)分析的場所和基本工具;
原始數(shù)據(jù)商提供自由交易的數(shù)據(jù)集;開發(fā)者提供基于數(shù)據(jù)集的應(yīng)用和服務(wù),以及定制化的分析和呈現(xiàn)工具;數(shù)據(jù)玩家如同股民,在市場中尋找值得投資的數(shù)據(jù)集或者機構(gòu)進行投資,獲得回報;現(xiàn)在人們炒房、炒股、炒黃金,將來或許人們會炒數(shù)據(jù)。
微軟已經(jīng)通過Windows Azure上的Marketplace在進行這樣的嘗試,目前主要針對的是商業(yè)用戶,已經(jīng)能將第三方解決方案提供商、服務(wù)提供商、模塊提供商和最終的商業(yè)用戶通過這一虛擬市場聯(lián)結(jié)在一起,可以發(fā)起自由交易。在這個基礎(chǔ)上,我們又延伸出一個數(shù)據(jù)集市,讓數(shù)據(jù)集的擁有者可以把數(shù)據(jù)發(fā)布到集市上,提供很多很細致的數(shù)據(jù)集,小到電影院座位和路況,大到國家宏觀經(jīng)濟發(fā)展數(shù)據(jù)。這就能讓開發(fā)者可以通過微軟的一些簡單易用的API或者工具,把這些數(shù)據(jù)整合到自己的環(huán)境里,開發(fā)新的應(yīng)用。
這樣的大數(shù)據(jù)生態(tài)顯然是健康、可持續(xù)的。對微軟、亞馬遜、谷歌、VMware這樣的平臺商而言,專心做好底層云計算基礎(chǔ)架構(gòu)和大數(shù)據(jù)服務(wù)平臺;對淘寶、中國移動、政府各部委這樣的數(shù)據(jù)商來說,原本只能自己用的數(shù)據(jù),在這個模式下可以產(chǎn)生更多的社會和商業(yè)價值;對Salesforce、SAP、用友、金蝶等應(yīng)用開發(fā)商來說,傳統(tǒng)的、非常困難的、非常繁瑣的數(shù)據(jù)整合,現(xiàn)在通過這樣一個集市,可以首次實現(xiàn)把不同應(yīng)用系統(tǒng)產(chǎn)生的數(shù)據(jù)整合起來,發(fā)現(xiàn)價值;對數(shù)據(jù)玩家來說,能夠有一個朝陽式的投資平臺可供選擇,且不那么容易被大機構(gòu)操縱。
當數(shù)據(jù)公開、數(shù)據(jù)交易和大數(shù)據(jù)應(yīng)用成為自然而然的習(xí)慣時,或許我們才可以說,大數(shù)據(jù)時代真的來臨了。