“大數據”突然間變得無處不在，似乎每個人都想收集、分析大數據、并從中獲利，同時也有人在夸耀或者害怕它的巨大影響。不論我們是在討論利用谷歌龐大的搜索數據來預測流感的爆發還是利用通話記錄來預測恐怖活動，又或者是利用航空公司的數據找到買機票的最佳時機，大數據都可以幫上忙。將現代計算技術和數字時代眾多的數據結合起來，似乎可以解決任何問題——犯罪，公共衛生，用語的變化，約會的危險，只要我們把這些數據利用起來。
似乎它的擁護者這樣宣稱。“在接下來的二十年，”記者帕特里克·塔克在他最近的大數據聲明中這樣寫道，“是透明的未來，”“我們可以以一種前所未有的準確度預測未來的諸多領域，甚至包括一些長久以來被認為人類無法干預的領域。”但大數據其實從來沒有聽上去那么好。
大數據真的像說的那么好？毫無疑問大數據確實是一個有價值的工具，并在某些領域產生了至關重要的影響。比如，幾乎近二十年人工智能計算機程序的成功，從谷歌的搜索引擎到IBM的沃森電腦問答系統，都包括了大量數據的處理。但是正是因為它最近如此受歡迎并得到廣泛應用，我們需要清晰的看待大數據究竟能做什么和不能做什么。
大數據能告訴我們是什么，但不能告訴我們為什么
首先，盡管大數據能夠非常好地檢測相關性，特別是那些用小數據集可能無法測出的微妙相關性，但是它并不會告訴我們哪一種相關性是有意義的。比如，大數據分析可能會揭示從2006年到2011你那美國謀殺案比例與IE瀏覽器的市場份額是極度相關的，都呈急速下降趨勢。但是很難相信這兩者之間有什么因果關系。又比如，從1998到2007被診斷出的自閉癥患者與有機食物的銷售具有相關性（都呈急速上升趨勢），但是這種相關性本身不會告訴我們飲食和自閉癥的關系。
大數據只能是輔助工具
第二，大數據可以輔助科學調查，但不可能成功地完全代替。比如，分子生物學家很想從潛在的DNA序列中推斷出蛋白質的三維結構，有一些科學家已經在用大數據來解決這個難題。但是沒有任何科學家認為你可以完全依靠處理數據來解決這個難題，不論這個數據分析是多么的強有力，你依舊需要基于對物理和生物化學的理解上來處理這些數據。
基于大數據的工具易造假
第三，基于大數據的很多工具很容易造假。批改學生作文的大數據程序通常依賴于句子長度和用詞的復雜性，數據表明這和老師批改的分數很相關。但是一旦學生知道這個程序如何運作，他們就開始寫一些長句子并用晦澀的詞語而不是去學會如何規范清晰的表達，組成連貫的篇章。甚至谷歌的著名的搜索引擎，這個通常被認為成功的大數據案例也不能免于信息繁雜，無用的搜索結果，一些人為的原因使得一些搜索結果排在前面（搜索廣告）。
通過大數據下結論是有風險的
第四，即便大數據的結果沒有人為地造假，但是它看上去也不那么有效。比如谷歌預測流感的案例曾經是大數據的典范。2009年，谷歌通過相當大的宣傳稱它可以通過分析與流感相關的搜索預測流感爆發的趨勢，這種準確性和快速甚至超過了疾病控制和預防中心等官方機構。但是幾年后，谷歌宣稱的流感預測并沒有得到好的結果，最近兩年，它做的更多地是不準的預測。
最近一篇《科學雜志》的文章解釋道，谷歌流感預測的失敗很大程度上是因為谷歌搜索引擎自己在不斷的更新，這個時候收集的數據未必能夠適用于下一個時候收集的數據。正如統計學家馮啟思（《數據統治世界》的作者）所說的，依賴于網站的大數據收集常常把一些用不同方法、有不同目的數據整合起來，有時候這會產生負面的影響。從這樣的數據樣本得出結論是需要冒風險的。
大數據的智能應用會導致錯誤被加強
第五個需要注意的就是“惡性循環”,這也是因為大量的數據都來自于網絡。不論何時，大數據分析的信息源本身就是一種大數據產品，這很可能會導致惡性循環。谷歌翻譯等翻譯程序是從不同語言中抽取相似的文本去辨別這些語言的翻譯模式，比如同樣的維基百科條目有兩種語言。這是一個很合理的策略，要不是有很多語言并不具有太多相似性，維基百科自己都可以用谷歌翻譯寫條目。在這種情況下，任何谷歌翻譯的錯誤都會影響維基百科，而這又會反映到谷歌翻譯上，使這種錯誤不斷加強。
大數據可能會導致大錯誤
第六個需要擔心的就是太多相關性導致的危險。如果你在兩個變量中不斷地尋找相關性，那么你很可能會純粹出于偶然發現虛假的相關性，即便在這些變量中并沒有實際意義的聯系。缺乏謹慎的檢查，大數據的量級會擴大這些錯誤。
聽上去科學的解釋未必正確
第七，大數據很容易對那些無法精確的問題給出聽上去很科學的解釋。比如在過去幾個月，基于維基百科的數據給人們排名有兩個不同的嘗試：根據歷史重要性或者文化貢獻。其中一本書叫做《誰更強？歷史人物真實的排名在哪里》，作者是電腦工程師Steven Skiena 和工程師Charles Ward，另一本叫做《萬神殿》，來自于麻省理工學院媒體實驗室項目。
這些嘗試在某些方面是正確的，耶穌、林肯、莎士比亞確實是極為重要的人物，但是兩者都犯了一些嚴重的錯誤。《誰更強？》指出法蘭西斯．史考特．凱伊（Francis Scott Key ）在歷史上是19世紀最重要的作家，遠遠超過簡·奧斯汀（第78名）和喬治·愛略特（第380名）。更嚴重的是，兩本書呈現出了利用所謂的精確誤導人，而在本質上是模糊升值無意義的。大數據可以把任何事都簡化為數字，但是你不應該被這些“科學”的表現愚弄。
罕見事件，大數據不起作用
最后，大數據在分析那些普通事件很在行，但是在分析罕見事件常失敗。比如，用大數據處理文本的程序如搜索引擎和翻譯程序，常常依賴于所謂的“三字”：連續三個詞的序列（比如“in a row”）。可靠的數據信息可以編制常規的三字模型，正是因為他們常出現，但是現有的數據并沒有多到足夠包括人們可能使用的所有“三字”，因為人們在不斷創造新語言。
隨便挑一個例子，Rob Lowe 最近為報紙寫的書評有九個“三詞序列”比如“dumbed-down escapist fare”，這在谷歌的文本里從未出現過。對于這些新鮮詞匯谷歌有很多限制，谷歌將“dumbed-down escapist fare”西安翻譯為德文然后再翻譯為英文，最后出現了這樣一個不合邏輯的詞語“scaled-flight fare.”Lowe先生的本意和利用大數據的翻譯真是完全不搭邊。
等等，我們幾乎忽略了最后一個問題：炒作。大數據的支持者宣稱它是革命性的進步。但是即便是給出大數據的成功例子，比如谷歌流感趨勢的預測，即便有用但對于一些更大的事這些顯得微不足道。相比19世紀和20世紀的偉大發明比如抗生素，汽車，飛機，大數據所得出的東西實在算不了什么。
我們需要大數據，毫無疑問。但是我們也需要更加清醒的認識到，這只是一種每個人都可以分析的重要資源，并不是什么新技術。
是在討論利用谷歌龐大的搜索數據來預測流感的爆發還是利用通話記錄來預測恐怖活動，又或者是利用航空公司的數據找到買機票的最佳時機，大數據都可以幫上忙。將現代計算技術和數字時代眾多的數據結合起來，似乎可以解決任何問題——犯罪，公共衛生，用語的變化，約會的危險，只要我們把這些數據利用起來。
似乎它的擁護者這樣宣稱。“在接下來的二十年，”記者帕特里克·塔克在他最近的大數據聲明中這樣寫道，“是透明的未來，”“我們可以以一種前所未有的準確度預測未來的諸多領域，甚至包括一些長久以來被認為人類無法干預的領域。”但大數據其實從來沒有聽上去那么好。
大數據真的像說的那么好？毫無疑問大數據確實是一個有價值的工具，并在某些領域產生了至關重要的影響。比如，幾乎近二十年人工智能計算機程序的成功，從谷歌的搜索引擎到IBM的沃森電腦問答系統，都包括了大量數據的處理。但是正是因為它最近如此受歡迎并得到廣泛應用，我們需要清晰的看待大數據究竟能做什么和不能做什么。
大數據能告訴我們是什么，但不能告訴我們為什么
首先，盡管大數據能夠非常好地檢測相關性，特別是那些用小數據集可能無法測出的微妙相關性，但是它并不會告訴我們哪一種相關性是有意義的。比如，大數據分析可能會揭示從2006年到2011你那美國謀殺案比例與IE瀏覽器的市場份額是極度相關的，都呈急速下降趨勢。但是很難相信這兩者之間有什么因果關系。又比如，從1998到2007被診斷出的自閉癥患者與有機食物的銷售具有相關性（都呈急速上升趨勢），但是這種相關性本身不會告訴我們飲食和自閉癥的關系。
大數據只能是輔助工具
第二，大數據可以輔助科學調查，但不可能成功地完全代替。比如，分子生物學家很想從潛在的DNA序列中推斷出蛋白質的三維結構，有一些科學家已經在用大數據來解決這個難題。但是沒有任何科學家認為你可以完全依靠處理數據來解決這個難題，不論這個數據分析是多么的強有力，你依舊需要基于對物理和生物化學的理解上來處理這些數據。
基于大數據的工具易造假
第三，基于大數據的很多工具很容易造假。批改學生作文的大數據程序通常依賴于句子長度和用詞的復雜性，數據表明這和老師批改的分數很相關。但是一旦學生知道這個程序如何運作，他們就開始寫一些長句子并用晦澀的詞語而不是去學會如何規范清晰的表達，組成連貫的篇章。甚至谷歌的著名的搜索引擎，這個通常被認為成功的大數據案例也不能免于信息繁雜，無用的搜索結果，一些人為的原因使得一些搜索結果排在前面（搜索廣告）。
通過大數據下結論是有風險的
第四，即便大數據的結果沒有人為地造假，但是它看上去也不那么有效
比如谷歌預測流感的案例曾經是大數據的典范。2009年，谷歌通過相當大的宣傳稱它可以通過分析與流感相關的搜索預測流感爆發的趨勢，這種準確性和快速甚至超過了疾病控制和預防中心等官方機構。但是幾年后，谷歌宣稱的流感預測并沒有得到好的結果，最近兩年，它做的更多地是不準的預測。
最近一篇《科學雜志》的文章解釋道，谷歌流感預測的失敗很大程度上是因為谷歌搜索引擎自己在不斷的更新，這個時候收集的數據未必能夠適用于下一個時候收集的數據。正如統計學家馮啟思（《數據統治世界》的作者）所說的，依賴于網站的大數據收集常常把一些用不同方法、有不同目的數據整合起來，有時候這會產生負面的影響。從這樣的數據樣本得出結論是需要冒風險的。
大數據的智能應用會導致錯誤被加強
第五個需要注意的就是“惡性循環”,這也是因為大量的數據都來自于網絡。不論何時，大數據分析的信息源本身就是一種大數據產品，這很可能會導致惡性循環。谷歌翻譯等翻譯程序是從不同語言中抽取相似的文本去辨別這些語言的翻譯模式，比如同樣的維基百科條目有兩種語言。這是一個很合理的策略，要不是有很多語言并不具有太多相似性，維基百科自己都可以用谷歌翻譯寫條目。在這種情況下，任何谷歌翻譯的錯誤都會影響維基百科，而這又會反映到谷歌翻譯上，使這種錯誤不斷加強。
大數據可能會導致大錯誤
第六個需要擔心的就是太多相關性導致的危險。如果你在兩個變量中不斷地尋找相關性，那么你很可能會純粹出于偶然發現虛假的相關性，即便在這些變量中并沒有實際意義的聯系。缺乏謹慎的檢查，大數據的量級會擴大這些錯誤。
聽上去科學的解釋未必正確
第七，大數據很容易對那些無法精確的問題給出聽上去很科學的解釋。比如在過去幾個月，基于維基百科的數據給人們排名有兩個不同的嘗試：根據歷史重要性或者文化貢獻。其中一本書叫做《誰更強？歷史人物真實的排名在哪里》，作者是電腦工程師Steven Skiena 和工程師Charles Ward，另一本叫做《萬神殿》，來自于麻省理工學院媒體實驗室項目。
這些嘗試在某些方面是正確的，耶穌、林肯、莎士比亞確實是極為重要的人物，但是兩者都犯了一些嚴重的錯誤。《誰更強？》指出法蘭西斯．史考特．凱伊（Francis Scott Key ）在歷史上是19世紀最重要的作家，遠遠超過簡·奧斯汀（第78名）和喬治·愛略特（第380名）。更嚴重的是，兩本書呈現出了利用所謂的精確誤導人，而在本質上是模糊升值無意義的。大數據可以把任何事都簡化為數字，但是你不應該被這些“科學”的表現愚弄。
罕見事件，大數據不起作用
最后，大數據在分析那些普通事件很在行，但是在分析罕見事件常失敗。比如，用大數據處理文本的程序如搜索引擎和翻譯程序，常常依賴于所謂的“三字”：連續三個詞的序列（比如“in a row”）。可靠的數據信息可以編制常規的三字模型，正是因為他們常出現，但是現有的數據并沒有多到足夠包括人們可能使用的所有“三字”，因為人們在不斷創造新語言。
隨便挑一個例子，Rob Lowe 最近為報紙寫的書評有九個“三詞序列”比如“dumbed-down escapist fare”，這在谷歌的文本里從未出現過。對于這些新鮮詞匯谷歌有很多限制，谷歌將“dumbed-down escapist fare”西安翻譯為德文然后再翻譯為英文，最后出現了這樣一個不合邏輯的詞語“scaled-flight fare.”Lowe先生的本意和利用大數據的翻譯真是完全不搭邊。
等等，我們幾乎忽略了最后一個問題：炒作 。大數據的支持者宣稱它是革命性的進步。但是即便是給出大數據的成功例子，比如谷歌流感趨勢的預測，即便有用但對于一些更大的事這些顯得微不足道。相比19世紀和20世紀的偉大發明比如抗生素，汽車，飛機，大數據所得出的東西實在算不了什么。
我們需要大數據，毫無疑問。但是我們也需要更加清醒的認識到，這只是一種每個人都可以分析的重要資源，并不是什么新技術。
京公網安備 11010502049343號