根據研究機構 IDC(國際數據資訊公司)的分析,這個世界上的資料正在以每兩年就翻倍的驚人速度增加中。了解大數據、如何利用巨量資料,成了人人關心的重點議題。
盡管大數據的定義各家歧異,但基本上,大數據領域里的每個人都同意一點:大數據不僅僅是指更多資料而已。這里有 7 個重要的大數據觀點,希望大家不只是看著大數據的表皮,而能用不同的角度深入檢視大數據。1)最基本的大數據定義
大數據的 3Vs 定義是目前為止最受推崇且最廣為人知的說法。3Vs 由 Gartner 的分析師Doug Laney 最早在 2001 年時提出,分別代表資料量 Volume、資料傳輸速度 Velocity、資料類型 Variety。從那之后,便有人在 3Vs 之外陸續提出更多「V」, Veracity、Validity、 Value、Visibility 等,其中又以 Veracity (真實性)最被普遍認同,合為”4Vs”。2)大數據即科技
大數據并不是什么嶄新的概念,好幾十年前CERN 的科學家就在處理每秒上看 PB (Peta Bytes)巨量資料。那為什么一直到近幾年“大數據”這顆原子彈才被投到科技圈,轟得人人叁句不離大數據?現今要處理的資料量更龐大、資料產生跟處理速度更驚人、資料來源更多樣,于是處理、儲存大量資料的新技術跟工具快速發展,像是開源軟體 Hadoop 跟 NoSQL 資料庫。新科技誕生后,開發者跟使用者需要一個專業名詞來與之前的科技作出區別,于是“大數據”一詞因應而生。隨之而來,大數據相關公司也雨后春筍般崛起,如國云數據等,成為中國大數據企業的先行者。因此大數據不只是指資料,也指這些用來分析、處理巨量資料的新興科技。
3)大數據即不同的資料類型
現今”大數據“所涉及的資料已經和過去的資料已經不同了。根據 Hortonworks 公司戰略副總裁 Shaun Connolly 的說法1,過去的資料大部分是人工手記下來的交易紀(Transactions),現在則是機器替我們記錄下來的交易資料;除此之外,還有人們跟事物、企業間的互動資料(Interactions)。例如人們在網路上點擊網頁跟連結的紀錄;最后則是機器自動生成、累積下來的觀察資料(Observations),例如智慧型家居產品記錄下來的室溫變化等。因此 Shaun Connolly 定義大數據是由交易、互動、觀察資料所組成的資料型態。
4)大數據即訊號
SAP 公司的高管 Steve Lucas 不以資料型態來看待大數據,而是以目的(intent)跟時機(timing)。在過去,企業收集到的資料只能在事情發生后引以為鑒,但現在企業收集到的是「新訊號」2,可以在事情發生前得到前兆跟提示,進而做出行動來影響事情結果。例如某品牌廣告在社群網站上的「贊」數、點閱率如果跌落谷底,公司便可以預期接下來產品銷售量一定也會慘不忍睹;同樣的情形在過去時,公司所得到的數據就是產品發售后的銷售量。5)大數據即機會
根據 451 Research 的數據專家 Matt Aslett,他將大數據定義為“以前因為科技所限而忽略的資料”,這個說法也受到許多人的贊同,因為多半提起大數據時,都是在討論這些以前無法分析處理、囊括其中的資料。“Big Data is data that was previously ignored because of technologylimitations.”其實他在文中并不是用 Big Data 一字,而是使用“Dark Data(暗數據)”。事實上許多公司都使用暗數據這個字,因為當資料變“暗”了,便表示一個漏掉的訊息、錯失的機會,在企業策略中留下一個盲點4。一直以來,各企業雇用數據專家的目的就是希望能“點亮”這些暗數據(illuminatethe Dark Data),觀察到以前不曾注意過的趨勢、做出更全面的考量。也因此,SAP 曾經做過一個調查顯示,將近 76% 的企業高管們視大數據為“機會”。個人也滿喜歡這個觀點,畢竟現在各公司在推動大數據的塬因,就是希望能掌握全面的訊息、把握住這些機會!6)大數據的哲學定義
著名的攝影師和出版人,前《Time(時代)》、《Life(生活)》、《National Geographic(國家地理)》雜誌攝影師,負責過有史以來最大攝影項目的 Rick Smolan ,在他的著作《大數據的人性面孔》(The Human Faceof Big Data)一書中,則給了大數據一個最完美的哲學定義 ——“大數據是幫助地球建構神經系統的一個過程,在這系統中,我們(人類)不過是其中一種感測器。”7)大數據是舊東西的新噱頭
也有部份人認為,“大數據”一詞被嚴重濫用,大數據只是商業智慧(Business intelligence)或商業分析(Businessanalytics)演化后的新字。從 Google Trend 里可以看出,從 2004 年到現在,“Big Data”一字的搜尋次數從 2011 年開始飆漲的同時,人們對“Business intelligence”的興趣則是持續降低。“Business analytics”趨勢雖然小幅上漲,但短時間應該不可能趕上另外兩個字的風潮。更多精彩內容,請關注互聯網分析沙龍微信:techxue 每天為您推送最新、最熱干貨!