但是，大數據真的是萬能的嗎？毫無疑問，大數據已經在某些領域產生了至關重要的影響。例如，幾乎每一個成功的人工智能解決方案都涉及大數據處理問題。

 

首先要注意的是，盡管AI目前非常擅長在大型數據集中查找模式和關系，但它仍然不是很智能。計算數字可以有效地識別并發現數據中的細微模式，但不能直接告訴我們這些相關關系中哪些實際上有意義。

 

 

我們都知道“相關性并不意味著因果關系。“然而，人類的大腦天生就會尋找規律，當我們看到曲線傾斜在一起，數據中出現明顯的規律時，我們的大腦就會自動給出規律。”

 

然而，從統計數據來看，我們仍然無法實現這一飛躍。《虛假相關性》(false)一書的作者Tyler Vigen在自己的網站上對此進行了調侃，還有很多例子比如展示冰淇淋是如何明顯地導致許多壞事的，從森林大火到鯊魚襲擊和脊髓灰質炎爆發。

 

看看這些情節，人們可能會爭辯說，我們很可能早就應該禁止冰淇淋了。 而且，實際上，在1940年代的小兒麻痹癥例子中，公共衛生專家建議人們停止吃冰淇淋作為“反政治飲食”的一部分。幸運的是，他們最終意識到小兒麻痹癥暴發與冰淇淋消費之間的相關性是“完全是由于小兒麻痹癥的爆發在夏季最為普遍”。

 

在統計中，虛假關系或虛假相關性是一種數學關系，其中兩個或多個事件或變量相關聯，但由于某種偶然的或某些第三個未見因素的存在而因果相關（稱為“常見響應”變量”、“混雜因素”或“潛伏變量”）。這樣的“潛伏變量”的例子可以是冰淇淋銷量與鯊魚襲擊之間的相關性（雖然冰淇淋銷量的增長不會導致鯊魚襲擊人們）。但是，這兩個數字之間有一個共同的環節，即溫度。較高的溫度導致更多的人購買冰淇淋以及更多的人去游泳。因此，這個“潛變量”確實是表觀相關性的原因。幸運的是，我們已經學會將因果關系與因果關系分開。而且，在炎熱的夏日，我們仍然可以享受冰淇淋，而不必擔心小兒麻痹癥爆發和鯊魚襲擊！

 

 

有了足夠的數據，將會發現計算能力和統計算法的模式。但并不是所有的模式都有意義，因為虛假模式的數量很容易超過有意義的模式。將大數據與算法結合起來，如果能正確地應用于解決問題，將是一個非常有用的工具。然而，沒有科學家會認為你可以通過單獨處理數據來解決這個問題，無論統計分析是多么強大，您應該始終基于對要解決的問題的基本理解來進行分析。

 

 

2008年6月，《連線》(Wired)雜志前主編C. Anderson寫了一篇頗具煽動性的文章，題為《理論的終結:數據洪流使科學方法過時》(The End of Theory: The Data Makes The Scientific Method Obsolete)。“相關性取代因果關系，即使沒有連貫的模型和統一的理論，科學也能進步。”

 

這種方法的強度和通用性依賴于數據量:數據越多，基于計算發現的相關性的方法就越強大和有效。我們可以簡單地把數字輸入計算機，讓統計算法自動發現有趣的模式和見解。

 

但是，這種簡化的分析方法也存在一些潛在的陷阱，可以通過John Poppelaars在博客上找到的示例很好地說明 ：

 

假設我們要為某些變量Y創建一個預測模型。例如公司的股價、在線廣告的點擊率或下周的天氣。接下來，我們收集所有可以使用的數據，并將其放入統計過程中，以找到Y的最佳預測模型。常見的過程是首先使用所有變量對模型進行估計，篩選出不重要的變量，然后使用所選的變量子集重新估算模型，然后重復此過程，直到找到重要的模型為止。

 

但是，Anderson提出的分析方法存在一些嚴重的缺陷。我選擇了一個實例，從0到1的均勻分布中抽取100個樣本，為Y創建了一組數據點，所以它是隨機噪聲。接下來，我通過從0到1之間的均勻分布中抽取100個樣本，創建了一組50個解釋變量X(I)。因此，所有50個解釋變量也是隨機噪聲。我使用所有的X(I)變量來預測y，估計一個線性回歸模型。因為沒有任何相關的東西(所有的均布和自變量)，所以期望R²(0)，但實際上不是。結果是0。5。對于基于隨機噪聲的回歸來說還不錯!幸運的是，這個模型并不重要。逐步剔除不顯著的變量，重新估計模型。重復這個過程，直到找到一個重要的模型。經過幾個步驟后，發現一個顯著性模型，調整后的R平方為0.4,7個變量的顯著性水平至少為99%。再次，我們是在回歸隨機噪聲，它絕對沒有關系，但我們仍然找到一個有7個重要參數的顯著模型。如果我們只是將數據輸入統計算法來尋找模式，就會出現這種情況。

 

 

最近的研究證明，隨著數據集的增長，它們必定包含任意相關性。這些相關性只是由于數據的大小而出現，這表明，許多相關性都是虛假的。不幸的是，很多信息往往表面表現得很少。

 

這是處理多維數據的應用程序中的主要問題。舉例來說，假設您從一家工廠的數千個傳感器中收集傳感器數據，然后挖掘這些數據以獲取模式以優化性能。在這種情況下，您很容易被數據表現的表象所迷惑，而不是真正的運營績效指標。無論從財務上還是在工廠的安全運行方面，這都可能是一個壞消息。

 

 

作為數據科學家，我們可能經常會說，改善人工智能模型的最佳解決方案是“添加更多數據”。然而，僅僅“添加更多數據”就能提高模型性能嗎？不是這樣的。我們應該關注的是“添加更多的信息”。“添加數據”和“添加信息”之間的區別是至關重要的:添加更多的數據并不等于添加更多的信息(至少是有用和正確的信息)。相反，由于盲目地添加越來越多的數據，我們有可能添加包含錯誤信息的數據，這些錯誤信息會相應地降低模型的性能。隨著數據的大量訪問以及處理數據的計算能力，考慮這一點變得越來越重要。

 

 

那么，上述挑戰是否應該阻止您采用以數據為依據的決策？ 不，數據驅動的決策將繼續存在。隨著我們獲得更多有關如何最佳利用數據和信息以提高績效的知識，這些將變得越來越有價值。

 

但是要意識到，要使方案成功，不僅需要硬件和大量數據，大數據和計算能力也是重要的組成部分。而且，您應該了解連接數據的基本機制。數據不能說明一切，是人類給數字賦予了含義。數據的數量、種類是無法更改的。