在大多數人根本不知道大數據(Big Data)到底是什么的時候,不可否認的是,大數據已經在 21 世紀掀起一場驚濤駭浪。根據研究機構 IDC(國際數據資訊公司)的分析,這個世界上的資料正在以每兩年就翻倍的驚人速度增加中。了解大數據、如何利用巨量資料,成了人人關心的重點議題。
盡管大數據的定義各家歧異,但基本上,大數據領域里的每個人都同意一點:大數據不僅僅是指更多資料而已。這篇文章整理出 7 個重要的大數據觀點,希望大家不只是看著大數據的表皮,而能用不同的角度深入檢視大數據。
1) 最基本的大數據定義 The Original Big Data
大數據的 3Vs 定義是目前為止最受推崇且最廣為人知的說法。3Vs 由 Gartner 的分析師 Doug Laney 最早在 2001 年時提出,分別代表資料量 Volume、資料傳輸速度 Velocity、資料類型 Variety。從那之后,便有人在 3Vs 之外陸續提出更多「V」, Veracity、Validity、 Value、Visibility 等,其中又以 Veracity (真實性)最被普遍認同。
3Vs 定義在上一篇文章中有仔細介紹,在這就不詳述了,請參考《巨量資料的時代,用「大、快、雜、疑」四字箴言帶你認識大數據》。
2) 大數據即科技 Big Data as Technology
大數據并不是什么嶄新的概念,好幾十年前 CERN 的科學家就在處理每秒上看 PB (Peta Bytes)巨量資料。那為什么一直到近幾年「大數據」這顆塬子彈才被投到科技圈,轟得人人叁句不離大數據?
現今要處理的資料量更龐大、資料產生跟處理速度更驚人、資料來源更多樣,于是處理、儲存大量資料的新技術跟工具快速發展,像是開源軟體 Hadoop 跟 NoSQL 資料庫。新科技誕生后,開發者跟使用者需要一個專業名詞來與之前的科技作出區別,于是「大數據」一詞因應而生。
因此大數據不只是指資料,也指這些用來分析、處理巨量資料的新興科技。
“Big Data is the new tools helping us find relevant data and analyze its implications.”
3) 大數據即不同的資料類型 Big Data as Data Distinctions
現今「大數據」所涉及的資料已經和過去的資料已經不同了。根據 Hortonworks 公司戰略副總裁 Shaun Connolly 的說法1,過去的資料大部分是人工手記下來的交易紀錄(Transactions),現在則是機器替我們記錄下來的交易資料;除此之外,還有人們跟事物、企業間的互動資料(Interactions),例如人們在網路上點擊網頁跟連結的紀錄;最后則是機器自動生成、累積下來的觀察資料(Observations),例如智慧型家居產品記錄下來的室溫變化等。
因此 Shaun Connolly 定義大數據是由交易、互動、觀察資料所組成的資料型態。
“Big Data = Transactions + Interactions + Observations”
4) 大數據即訊號 Big Data as Signals
SAP 公司的高管 Steve Lucas 不以資料型態來看待大數據,而是以目的(intent)跟時機(timing)。在過去,企業收集到的資料只能在事情發生后引以為鑒,但現在企業收集到的是「新訊號」2,可以在事情發生前得到前兆跟提示,進而做出行動來影響事情結果。例如某品牌廣告在社群網站上的「讚」數、點閱率如果跌落谷底,公司便可以預期接下來產品銷售量一定也會慘不忍睹;同樣的情形在過去時,公司所得到的數據就是產品發售后的銷售量。
“Big Data is the new signals.”
5) 大數據即機會 Big Data as Opportunity
根據 451 Research 的數據專家 Matt Aslett,他將大數據定義為「以前因為科技所限而忽略的資料」3,這個說法也受到許多人的贊同,因為多半提起大數據時,都是在討論這些以前無法分析處理、囊括其中的資料。
“Big Data is data that was previously ignored because of technology limitations.”
其實他在文中并不是用 Big Data 一字,而是使用「Dark Data(暗數據)」。事實上許多公司都使用暗數據這個字,因為當資料變「暗」了,便表示一個漏掉的訊息、錯失的機會,在企業策略中留下一個盲點4。一直以來,各企業雇用數據專家的目的就是希望能「點亮」這些暗數據(illuminate the Dark Data),觀察到以前不曾注意過的趨勢、做出更全面的考量。
也因此,SAP 曾經做過一個調查顯示,將近 76% 的企業高管們視大數據為「機會」。個人也滿喜歡這個觀點,畢竟現在各公司在推動大數據的塬因,就是希望能掌握全面的訊息、把握住這些機會!
“A new survey by SAP suggests that nearly 76 percent of executives see “Big Data” as an opportunity” 5
6) 大數據的哲學定義 Big Data as Metaphor
著名的攝影師和出版人,前《Time(時代)》、《Life(生活)》、《National Geographic(國家地理)》雜誌攝影師,負責過有史以來最大攝影項目的 Rick Smolan ,在他的著作《大數據的人性面孔》(The Human Face of Big Data)一書中,則給了大數據一個最完美的哲學定義 ——「大數據是幫助地球建構神經系統的一個過程,在這系統中,我們(人類)不過是其中一種感測器。」6
“Big Data is the process of helping the planet grow a nervous system, one in which we are just another, human, type of sensor.”
深奧吧?如果你讀過《大數據的人性面孔》一書,相信你應該會對這個比喻點頭如搗蒜。求方便的話,這本書也提供了 iPad App 版本可以閱讀,有興趣可以到這里下載。
7) 大數據是舊東西的新噱頭 Big Data as New Term for Old Stuff
也有部份人認為,「大數據」一詞被嚴重濫用,大數據只是商業智慧(Business intelligence)或商業分析(Business analytics)演化后的新字7。
從 Google Trend 里可以看出,從 2004 年到現在,「Big Data」一字的搜尋次數從 2011 年開始飆漲的同時,人們對「Business intelligence」的興趣則是持續降低。「Business analytics」趨勢雖然小幅上漲,但短時間應該不可能趕上另外兩個字的風潮。
結語
以上七個定義/觀點無論認同與否,相信大家都同意的是:Big Data 絕對是個「Big Deal」,接下來幾年里,大數據將帶來無限商機。