當我們知道了大數據的特性,也找到了相關性,接下來就是靠著它創造出價值來。
“什么是大數據?”、“跟我有什么關系?”很多人第一次聽到大數據,心中一定會有這樣的疑問。
據《30雜志》報道,麥爾 荀伯格在千余名想了解未來趨勢的觀眾面前,做了一場精彩易懂的演說,告訴了企業及民眾,什么是大數據。
大數據找出相關性
2009年,全球出現一種新的流感病毒H1N1,當時美國也無法幸免,疾病管制局(CDC)要求第一線的醫師遇到H1N1流感病例,必須立刻通報。即使如此,通報速度仍總是慢一步,會晚1到2個星期。這樣的時效讓疾管局無法掌握真實情況,對癥下藥。
當時有幾位Google 工程師在著名的《自然》科學期刊中發表了一篇論文。他們透過美國最常使用的前5000萬個搜尋關鍵字,再與疾管局2003-2008年間的流感傳播資料加以比對,用高達4.5億種不同的數學模型,找出這些字出現的頻率、時間及地點,有沒有統計上的相關性(correlation)。最后被他們挖到寶了,這套軟件找出了45個流感關鍵字眼,放進數學模型之后,預測結果與官方公布的真實資料吻合,有強烈的相關性。
Google 運用這套數學模型,再一次精準地掌握了流感發生的高峰及地區,讓防疫工作同步進行,不落后。
再說另一例子,天文學來說,美國太空總署執行一項叫史隆數碼巡天計劃(Sloan Digital Sky Survey),從2000年開始,他們用位于美國新墨西哥州的天文望遠鏡去收集資料,計劃開始不過幾星期,收到的天文資料量就已超過了過去所有天文學歷史的總和。到了2010年,這個計劃收到了140TB 的資料量。但是接續的新計劃,預計2016年登場,未來的巡天望遠鏡在5天內,就可收到這些資料量。
荀伯格說,當資料進入天文數字時代,荀伯格提醒:到底大數據有多大?其實不是那么重要,重點是在放大,擴大資料量等級,就能做出少量資料做不到的事。
舉例來說,畫一張馬的圖畫,不是太難的事,但如果畫了很多張馬的圖畫,再以每秒24幀來呈現這些圖畫,就成了動畫。這里要強調的是“量變”產生了“質變”,巨量就是這個道理,量的不同,也改變了本質。
what比why重要
量增加了,就出現另一項大數據的特色:亂(messy)。巨量資料的內容常是混亂不齊,質量不一。這是因為,巨量資料的收集過程中,它只要一個大方向即可,不需要講究到一寸、一分。“這并不是說我們放棄了精準這件事,只是不再將精準奉為圭臬,”荀伯格說。
舉例來說,我們要測量某個葡萄園的溫度,如果整片葡萄園只有一支溫度計,那這支溫度計就要十分精準,不能故障,但也意味著它會很貴。換句話說,就是不能有任何雜亂或出錯;相反的,如果我們今天在葡萄園里放了100支溫度計去測溫度,就可以用便宜一些,簡單的溫度計測出很精準的溫度。
100支溫度計代表的是量大,盡管其中幾支可能不那么精準,但卻可以收集到大量數據。比起只靠一支溫度計來說,更可看到全貌,代表全體。那此時,一點雜亂就顯得微不足道。
重點又來了,荀伯格忽然站起來向所有在場的觀眾說,大數據時代,資料數量比資料質量更重要。更不要為了一點點信息的偏差而影響了整體分析,想處理掉不精準的信息,成本會很高,也沒有必要!
另一個有趣的例子是沃爾瑪(Walmart),他們從龐大的交易記錄上發現,在颶風來襲前,銷量大增的不只是手電筒,還有一種美國小甜點 Top-Tarts,店家會在每次颶風來臨前,把一盒一盒的 Top-Tarts放在風災的必需品架上,方便急忙的顧客一次滿足,“特別是草莓口味的,賣得最好。”
請注意,這里Walmart不去弄清楚為什么颶風時人們特別想吃Top-Tarts,而是把這個相關性找出來,直接采取更有利的營銷動作。
荀伯格特別強調,大數據時代,what比why重要。
再舉一個例子,發生在他朋友,也是大數據專家,任教于華盛頓大學的教授伊茲奧尼(Oren Etzioni)身上。2003 年時他想從西雅圖塔機到洛杉磯參加弟弟的婚禮,他想愈早訂票愈能買到便宜,幾個月前他就買好了機票,也覺得買得很便宜。沒想到他在航程中,出于好奇問了隔壁乘客買多少錢,何時買的。結果,一問之下,都回答最近才買,且都比他買得便宜,他十分生氣。
下了飛機后,他決定去好好研究一下購買機票這件事。他發現,如果平均票價呈現下跌,買票就可以慢慢來;如果價格上揚中,你就要先訂票,以免它水漲船高。
伊茲奧尼花了41天的時間去比對一旅游網站中超過12000筆的票價資料,他建立了一個模型,讓模擬的消費者都省下了大筆的機票錢。在這模型里,消費者不懂“為什么(why)”,只知道“正是如此(what)”,消費者要決定現在是“買或是不買”。
后來這套模型發展出創業計劃,他創了一個Farecast網站,消費者可以做出最佳判斷,何時該買,還是不買。
大數據與價值
當我們知道了大數據的特性,也找到了相關性,接下來就是靠著它創造出價值來。
美國西雅圖有一家專門收集車輛實時定位的資料公司Inrix,它的資料來自上億臺的車輛。同時,它也推出手機 App服務,通過提供服務換取特定的司機資料,包括他們曾開車去的地方、天氣及路況等。他們將收到的資料再出售給一家投資基金,該基金根據大型零售商場附近的路況推測業績,在零售商公布季報前,搶先決定該買入或賣出。因為車潮就是錢潮。這就是價值。
英國的羅爾斯羅伊斯是著名的飛機引擎制造商,它通過在引擎上安裝了一個監控器,以掌控引擎是否正常運轉。結果隨著他們收集到的資料中發現,當引擎出現哪些信號異常,引擎可能會發生問題,這個監控變成了預測,大大減少飛安事故。羅爾斯羅伊斯從過去單單的制造引擎公司,轉型為服務咨詢,他們讓數據產生出價值。
荀伯格說了許多大數據的美好,但他強調,大數據有其黑暗面:隱私當然是一個該關注的焦點,但他強調,更可怕的是各種算法,去預測是不是會患心臟病?或你是否會犯罪等。有時,依靠大數據做出的演算與預測,如果與自由意志不符時,孰輕孰重?
同時,我們也擔心,愈來愈多的企業會掌握更多資料,但如此龐大的資料為他們所收集,拿去做了什么?什么用途?不一定能受到監督與管理,這是重要議題。
“巨量資料是為人類所掌控,而不是被巨量資料所掌控,”這是荀伯格最后的提醒。