大數據掀起的革命，正在全面影響你我的生活。面對如此大量數據，該怎麼用?如何正確解讀?國外企業成功經驗，可以做為借鏡。
一場大數據分析的「數據革命」登場，正掀起生活、工作和思考方式的全面革新。然而，面對雜亂無章的大數據，究竟怎麼理出頭緒，卻成了大家最頭痛的問題。
麻省理工學院教授 Erik Brynjolfsson，具體研究擅長使用數據來決策的公司，整體績效比不用數據的企業，生產力至少高出 6%，例如，Google、亞馬遜等企業競爭力不斷往上提上，而不少新創公司則因為有大數據思惟，成為明日之星。《大數據》作者、牛津大學教授 Mayer-Schonberger 提出使用大數據，五大最重要觀念，只要跟著這樣的邏輯，大家都可能成為新贏家。
1. 數據數量遠比品質更重要
成功案例：Google
在大數據時代下，數據數量已比數據品質重要。涵蓋 60 種語言的 Google翻譯，就是一個絕妙例子。早在 1990 年代，IBM 的專家曾開發一套 Candide 翻譯系統，采用加拿大國會的英法語雙語文件，大約是 300 萬個句對，訓練電腦讀懂使用機率，到底 A 語言的辭匯，最有可能對應到 B 語言的哪個詞匯，來增加翻譯的精準度，把翻譯轉換成數學問題 但後來進展卻不大，終告放棄。
2000 年時，微軟語言處理專家發現，當他們在進行文法校正的「機器學習」時，隨著輸入的數據量不斷增加，準確度顯著提升，他們當時下了一個假設，「或許我們要重新考慮，是要砸錢來開發程式演算法，還是擴大語料庫。」
接受不精確 先求擴大數據規模
幾年之後，Google 也決定投入翻譯領域，但不同於 IBM 使用 300 萬個精心翻譯的句子，而是使用手邊更龐大、更混亂的數據集。Google 的翻譯系統母體大至全球網絡，廣達數十億個翻譯網頁，有高達兆字的語料庫，收錄所找到的每一則翻譯，用來訓練電腦。
數據來源包含各公司網站、官方文件的多語翻譯，國際組織的多語報告，或是Google圖書掃描計畫，納入的書籍翻譯，甚至包含網上各種斷簡殘篇、品質參差不齊、混亂的數據。這樣一來，翻譯的準確度再度提升，甚至某個英文字之後，出現另外一個字的機率，都能夠計算出來。
Google 人工智慧專家指出，Google 使用的數據，常有不完整的句子，拼字錯誤、文法缺誤，但正因為擁有比其他語料庫多出千萬倍的數據，足以蓋過缺點。因此，進入大數據時代的第一個觀念，就是要接受，數據「數量」遠比數據「品質」重要，而且要接受雜亂，不能事事要求精確。
2. 找相關性而非執著因果關系
成功案例：紐約市公安管理
以紐約市為例，每年都因為地下管道火災，付出不少代價，路面上重達140公斤的鑄鐵人孔蓋更常因為悶燒爆炸，飛到幾層樓高，再砸回地面，造成嚴重公安困擾。但紐約市的地下電纜，長度超過15萬公里，足以繞地球三圈半，光曼哈頓就有超過5萬1000個人孔蓋，數量之多，就算每年定期檢查，意外仍然防不勝防。
負責管理的愛迪生聯合電力公司，找上哥倫比亞大學統計專家魯丁(Cynthia Rudin)協助。怎麼做呢?第一步，他們先蒐集1880年到2008年管路歷史數據，但光是要表達「維修孔」，就有38種不同的寫法，數據雜亂無章。研究的重點，在於找出「相關性」。不在於「為什麼會爆炸」，而是「哪個人孔會爆炸」。
挑有效指標 逐步縮小問題范圍
研究小組從 106 個重大人孔災害預測指標下手，慢慢去蕪存菁，最後剩下幾個最有效的指標。接著他們再縮小范圍，僅研究某一區的地下電纜，分析截至2008年的數據，來預測 2009 年的危險人孔位置，結果小組列出的前 10% 危險清單，的確有 44% 曾發生過嚴重事故，也據此找出最有相關性的幾個指標。
最後，小組發現「電纜年份」和「過去是否發生事故」，是最重要的判斷指標，依此原則來替市區幾萬個人孔蓋排定檢查順序。雖然答案好像顯而易見，但是過去卻渾然未覺，直到分析團隊用大數據的科學驗證，大家才恍然大悟。
紐約市還有另一個嚴重問題，是住宅非法改建，不少房子都隔成許多小間，住了比原本設計多十倍人數，常發生火災。為了減少意外死亡，政府需要知道的，反而不是為何有如此多非法住宅，而是這些非法住宅到底在哪里?
怎麼找出來?第一，先取得全市 90 萬筆住宅數據，再整合 19 個機構數據，像房屋稅繳納狀況、是否為法拍屋、水電費是否異常，都納入考慮。團隊也納入住宅屋型、年份、救護車出勤率、鼠患、非法改建投訴等數據，再拿來與五年來火災程度數據比對，找出「相關性」來建立預測系統。
除了已記錄的數據，市府團隊還訪問了資深檢查員，盡可能找出更多可以比對的指標。例如，他們從老干員的口中，發現新砌外墻的住宅，有問題的機率很低，但是調查員也說不上來為什麼，只說是憑直覺，後來發現曾經老屋拉皮的建筑，表示住戶較重視環境維護，發生事故的機率就比較低。因此分析專家回頭把「市府老舊建物拉皮」這個變項也納入系統，就像用「刪去法」一般，篩選掉相對低風險的住宅，提升預測的準確度。
透過反覆比對 提升預測準確度
另外，紐約市府本來以為某棟住宅投訴電話愈多，表示危險程度愈高，因此常常前往稽查，浪費不少人力。後來幾番分析比對才發現，事實相去甚遠，因為在上東城高級住宅區，只要有一只老鼠，投訴電話就成天響個不停，但是在相對落後的布魯克林區，非得等到鼠患嚴重，才有投訴進線。
透過這樣反覆比對原始指標和每周收到的即時數據，紐約市府每星期都能列出，可能發生火災的前五名名單，立即交給檢察員處理，讓這套大數據預測系統大獲成功。透過相關性篩選出來的危險建物名單，竟然有 70% 以上確實需要撤離住民，成效斐然。
3. 看似沒用的數據也有商機
成功案例：Foursquare、UPS、推特、亞馬遜
除了要能接受雜亂數據，從中找出相關性，迎接大數據，還有另一個重點，就是任何紀錄，甚至連情緒、社交圖譜、搜尋軌跡，都可數據化。例如，當「地理位置」成為數據，有無限商機。全球最大的打卡社群平臺 Foursquare，最重要的功能就是讓用戶，隨時打卡、拍照上傳景點。
這些蘊含用戶地域位置的打卡數據、軌跡，只要仔細紀錄下來，便能夠了解某一時間、地點，用戶都在做些什麼事?藉此推播精準的廣告、折扣訊息。甚至星巴克、麥當勞都跟 Foursquare 購買這些打卡數據，來分析決定要在哪里開新門市。Foursquare 也從一個社群平臺，變成有附加價值的精確市場分析數據提供商。
循司機行車路徑 找出省時省油路線
快遞公司優必速(UPS)也是率先把「地理位置」數據化的成功案例。們透過每臺貨車的無線電設備和GPS，精確知道車輛位置，并從累積下來無數筆的行車路徑，找出最佳行車路線。從這些分析中，UPS發現十字路口最易發生意外、紅綠燈最浪費時間，只要減少通過十字路口次數，就能省油、提高安全。靠著數據分析，UPS 一年送貨里程大幅減少 4,800 公里，等於省下 300 萬加侖的油料及減少3萬噸二氧化碳，安全性和效率也提高了。
當「情緒」和「社交互動」成為數據，又能做些什麼?推特就是最好的例子，每天至少有四億則以上推文，明明大多數推文，看來就像是隨口嚷嚷，但卻成了重要「分析」指標，可以用來及早了解消費者反應，或是判斷行銷活動成果，不少公司都搶著要和推特簽訂數據的存取權。
當用戶的網絡「軌跡」成為數據，又有何用?網購龍頭亞馬遜正是依照客戶瀏覽的歷史，來比對「產品」和「產品」的關連性，開發無人能敵的自動推薦系統。現在亞馬遜上，每三筆訂單，就有一筆是來自電腦推薦和客制化系統。
4. 挖出大數據的新價值
成功案例：新創公司、老牌公司翻身
千萬別以為用大數據分析，是大公司或是科技大廠的專利，小型企業不一定要自己擁有數據，可以靠授權獲得，再使用廉價云端運算平臺分析。擁有「大數據」思惟和好點子，能讓新創公司蓬勃發展。一位美國頂尖的數據科學家 Oren Etzioni，就是利用大數據創業的先驅。
幾年前，Oren Etzioni 在從西雅圖飛往洛杉磯參加弟弟婚禮的飛機上，發現臨座幾位乘客的票價都比他的便宜，打破以往覺得飛機票愈早買、愈省錢的想法，萌生創業點子。
分析舊票價數據 抓出未來漲跌
Oren Etzioni 開發出預測飛機票未來是漲是跌的服務「Farecast」。最重要的關鍵是取得特定航線的所有票價資訊，再比對與出發日期的關連性，如果平均票價下跌，買票的事還可緩一緩，如果平均票價上升，系統會建議立即購票。他先在某個旅游網站取得 1 萬 2,000 筆票價數據，作為樣本，建立預測模型，接著引進更多數據，直到現在，Farecast 手中有 2,000 億筆票價紀錄。
後來他的公司被微軟并購，把這套服務結合到 Bing 搜尋引擎中，平均為每位用戶節省 50 美元。去年被 eBay 并購的價格預測服務 Decide.com，也是 Oren Etzioni 的杰作。在 2012 年，開業一年的 Decide，已調查超過 250 億筆價格資訊、分析 400 萬項產品，隨時和數據庫中的產品價格比對。從普查中，他們發現零售業秘辛，就是新型號上市時，舊產品竟不跌反漲，或異常的價格暴漲，來警告消費者先等一等，再下手。
觀察網友文章 老產品找到新用法
一個老品牌翻身的故事，也是藉助網絡上的部落格文，觸類旁通的創新行銷范例。風靡澳洲的酵母咸味醬 Vegemite 品牌(已被美國最大食品集團卡夫 Kraft 并購)，一直是澳洲家庭必備涂醬，但 2009 年時突然市占率下滑。卡夫集團委托 IBM 調查 150 萬筆論壇、部落格文、網絡新聞，發現近 50 萬筆、38 種不同語言關於酵母涂醬的內容，更發現大家會把酵母醬搭配酪梨、烤肉、番茄一起吃，是以往沒想過的新資訊。
於是，他們開啟公司史上最成功的行銷「你都怎麼用酵母醬?」讓大家分享吃法，成功讓Vegemite酵母醬再度熱賣，比過去銷量高峰期再高出5%。
5. 拒絕「數據獨裁」，小心依賴、濫用數據
失敗案例：Google
要成為大數據的贏家，要小心，不要被數據蒙蔽。就算是數據高手的 Google，也三不五時失敗。轉戰 Yahoo 的 Google 前高層 Marissa Mayer，曾要求工作人員測試足足 41 種不同色階的藍色，有的甚至肉眼難以分辨，只為了知道網站工具列該挑什麼顏色。Mayer-Schonberger 指出，這些例子都證明 Google 對數據太言聽計從了，極端數據獨裁的結果，也遭來反抗。
Google 的頂尖設計師鮑曼正是受不了一切都要量化，憤而離職。他在部落格上寫道：「我們爭論到底某個邊界究竟該是 3、4 還是 5 個像素寬，??如果以為每個決定都可以簡化成邏輯問題，這些數據最後就會變成拐杖，每個決定都需要拄著柺杖，讓整個公司癱瘓!」
Mayer-Schonberger 提醒，不能過分依賴數據，否則可能如同希臘神話中伊卡洛斯(Icarus)所犯的錯誤——他搭著鳥羽和蠟，制成的飛行翼翱翔天際，但卻太相信自己的飛翔技能，使用不當而折翼墜海。
五大觀念，挖出潛在新商機
第一、數據數量要夠大、夠多，量比質更重要。
第二、找出「相關性」，而非因果關系。
第三、地理位置、情緒貼文、社群圖譜、看似無用的散漫紀錄，都是有用的。
第四、只要有大數據思惟，小公司也能靠創新的點子致勝。
第五、要小心數據獨裁，不要被大數據掌控。
大數據領域權威專家——麥爾荀伯格(Viktor Mayer-Schonberger)訪臺論壇
BIG DATA 大數據時代來臨，誰能在龐雜的訊息中掌握關鍵，誰就能取得解決問題的先機。
不論你從事的是商業、資訊科技、公共行政、教育、醫療，或者只是單純對未來趨勢感到好奇，麥爾荀伯格親自剖析如何擁抱不精確，創造新生意。
原文鏈接：http://www.thebigdata.cn/YeJieDongTai/14280.html
京公網安備 11010502049343號