應該如何理解大數據

最初接觸大數據這個概念是在2013年，當時市面上正在熱銷一個外國人寫的《大數據時代》，我還同時參加了這本書的主題分享。關于大數據這一概念并沒有一個確切的具體指向。它被用來描述大量貌似并不相關的不同類型數據的集合。大數據的功能之一是用來進行輔助決策。以前因為成本與技術的原因分析師獲得的總是很小的樣本，樣本數量的大小和隨機性，非常關鍵。數據的選擇不能摻雜任何人為的因素，這些人為的因素通常會使結果變得很主觀，同時也就失去了意義。這就意味著模型需要建得非常好，否則最終的結果就沒有價值，甚至適得其反。

大數據同時還可以解釋為那些大小已經超出了傳統意義上的尺度，一般的軟件工具難以捕捉、存儲、管理和分析的數據。但是對于“大”的尺度確沒有確切的定義，早在1980年代，美國就有人提出了“大數據”的概念。30多年來，各個領域的數據量都在迅猛增長，美國的企業界、學術界也不斷地對這個現象及其意義進行探討，“大數據”這個名詞變得越來越流行、越來越重要，最后成為了國家和政府層面的發展戰略。

在今年5月26日2015貴陽國際大數據產業博覽會上國務院總理李克強指出：“中國正在研究制定’互聯網＋’行動計劃，推動各行各業依托大數據創新商業模式，實現融合發展，推動提升政府科學決策和管理水平，用新的思路和工具解決交通、醫療、教育等公共問題……”由此大數據在我國也被上升到了國家層面。舉兩個在交通、醫療方面的例子：

在巴西，航空流量在過去的10年中增長迅速，預計每年的旅客數量到2030年將增長一倍還多，達到3.1億人次。可以預見到的天空中的擁堵問題日漸受到關注。為應對這一問題，巴西開始導入GPS數據系統優化可供使用的航線，減少長短途航線間的沖突。以前的做法是飛機排成一列等待降落，使用新系統后，每架飛機首先注冊自己的航道。每架飛機的位置，速度，和載荷能力，需要在最短的航道內進行及時精確的處理。這樣飛機就可以沿著“曲線”更加靠近機場。在巴西利亞機場首次使用這套系統后，每架著陸的飛機平均節省了7分半鐘和77加侖的燃油，同時平均少飛了22海里。巴西計劃在全國的10家最繁忙的機場部署這套系統。據初步估計這套系統可以使機場的運力提升16%到59%，根據機場的實際條件有所不同。

醫療方面，互聯網巨頭谷歌公司在《自然》雜志上發表過一篇引人注目的論文，文中介紹了谷歌為什么能夠預測冬季流感的傳播。谷歌保存了多年來所有的搜索記錄，并且每天都會收到來自全球超過30億條的搜索指令，他們建立了一個關注特定檢索詞條的頻繁使用與流感在時間和空間上的傳播之間的聯系。他們的軟件發現了45條檢索詞條的組合，一旦將它們用于一個數學模型，他們的預測與官方數據的相關性就高達97%。

大數據的應用還存在著一些難解的問題

大數據雖然看上去很美，但是現實中的進展依舊緩慢。在機場行業中，人們充滿了對使用大數據的熱情，但是現實的阻礙重重一時又找不到理想的解決辦法。

首先，缺乏透明度。交通基礎設施包括了復雜的網絡和眾多的參與者。拿機場舉例，不同的航空公司，地面處理公司，和零售商，再加上空管，乘客，和機場自己。每一方都在收集各自的數據，并且不愿意拿出來公開，這就有點像搞零售的人不愿意告訴別人倉庫在哪兒。但是如果能夠跟蹤乘客信息，將會給每一個人帶來便利。舉例來說，如果知道了腳步的分布情況，和移動情況，就可以優化艙門的位置。這不止可以提高機場的容量，還可以提高機場免稅商品的零售收入。而實現的前提條件，就是所有的數據要整合到一起。

其次，如何分配利潤并且均攤成本，不同的機構分享數據的目的總是不同的。航空公司需要的是更快的登機速度——這可以通過縮短登機距離來實現。但是機場商店則希望增加距離來提高機場商品的銷售。機場可能比較傾向于設施的便利性，但是同時也會要求靈活性，以便有什么突發事件后能夠快速恢復原狀。這些合起來想找到一個解決辦法，所有的參與其中的各方都各取所需，并不是一個簡單的任務。這需要一定程度的密切配合與信任，不容摻假。

最后，監管限制。基礎設施在某種程度上，是天然的壟斷行業。政府在其中扮演了無可取代的作用，確保運作的公平與低成本，并且也是唯一有可能收集并使用這些數據的，政府代表了公信力。但是這一切的前提是相關部門必須首先要被說服，接下來還必須說明什么樣的數據會被采集，如何使用，并且從這些數據的有效使用中最終的好處是什么。

谷歌預測流感的事例同樣存疑，大數據概念通常意味著所有數據的毫無主觀色彩的一般性。但是，不能摻雜人為因素在實際操作過程中，幾乎是不可能實現的，人在證明某樣東西的時候往往帶有一定的目的性，而且完全脫離了人為假設的試驗本身也是不可想象的，最終面對的只是一堆毫無意義的數據垃圾。