《企業網D1Net》5月28日訊
隨著大數據時代的到來,大數據的價值逐漸凸顯,在很多人的眼里,大數據突然變得無所不在,無所不能,似乎每個人都想收集、分析大數據、并從中獲利,同時也有人在夸耀或者害怕它的巨大影響。
不論我們是在討論利用谷歌龐大的搜索數據來預測流感的爆發還是利用通話記錄來預測恐怖活動,又或者是利用航空公司的數據找到買機票的最佳時機,大數據都可以幫上忙。將現代計算技術和數字時代眾多的數據結合起來,似乎可以解決任何問題——犯罪,公共衛生,用語的變化,約會的危險,只要我們把這些數據利用起來。
大數據真的像說的那么好?毫無疑問大數據確實是一個有價值的工具,并在某些領域產生了至關重要的影響。比如,幾乎近二十年人工智能計算機程序的成功,從谷歌的搜索引擎到IBM的沃森電腦問答系統,都包括了大量數據的處理。但是正是因為它最近如此受歡迎并得到廣泛應用,我們需要清晰的看待大數據究竟能做什么和不能做什么。
大數據能告訴我們是什么,但不能告訴我們為什么
首先,盡管大數據能夠非常好地檢測相關性,特別是那些用小數據集可能無法測出的微妙相關性,但是它并不會告訴我們哪一種相關性是有意義的。比如,大數據分析可能會揭示從2006年到2011你那美國謀殺案比例與IE瀏覽器的市場份額是極度相關的,都呈急速下降趨勢。但是很難相信這兩者之間有什么因果關系。又比如,從1998到2007被診斷出的自閉癥患者與有機食物的銷售具有相關性(都呈急速上升趨勢),但是這種相關性本身不會告訴我們飲食和自閉癥的關系。
大數據只能是輔助工具
第二,大數據可以輔助科學調查,但不可能成功地完全代替。比如,分子生物學家很想從潛在的DNA序列中推斷出蛋白質的三維結構,有一些科學家已經在用大數據來解決這個難題。但是沒有任何科學家認為你可以完全依靠處理數據來解決這個難題,不論這個數據分析是多么的強有力,你依舊需要基于對物理和生物化學的理解上來處理這些數據。
基于大數據的工具易造假
第三,基于大數據的很多工具很容易造假。批改學生作文的大數據程序通常依賴于句子長度和用詞的復雜性,數據表明這和老師批改的分數很相關。但是一旦學生知道這個程序如何運作,他們就開始寫一些長句子并用晦澀的詞語而不是去學會如何規范清晰的表達,組成連貫的篇章。甚至谷歌的著名的搜索引擎,這個通常被認為成功的大數據案例也不能免于信息繁雜,無用的搜索結果,一些人為的原因使得一些搜索結果排在前面(搜索廣告)。
通過大數據下結論是有風險的
第四,即便大數據的結果沒有人為地造假,但是它看上去也不那么有效。比如谷歌預測流感的案例曾經是大數據的典范。2009年,谷歌通過相當大的宣傳稱它可以通過分析與流感相關的搜索預測流感爆發的趨勢,這種準確性和快速甚至超過了疾病控制和預防中心等官方機構。但是幾年后,谷歌宣稱的流感預測并沒有得到好的結果,最近兩年,它做的更多地是不準的預測。
罕見事件,大數據不起作用
最后,大數據在分析那些普通事件很在行,但是在分析罕見事件常失敗。比如,用大數據處理文本的程序如搜索引擎和翻譯程序,常常依賴于所謂的“三字”:連續三個詞的序列(比如“in a row”)。可靠的數據信息可以編制常規的三字模型,正是因為他們常出現,但是現有的數據并沒有多到足夠包括人們可能使用的所有“三字”,因為人們在不斷創造新語言。
隨便挑一個例子,Rob Lowe 最近為報紙寫的書評有九個“三詞序列”比如“dumbed-down escapist fare”,這在谷歌的文本里從未出現過。對于這些新鮮詞匯谷歌有很多限制,谷歌將“dumbed-down escapist fare”西安翻譯為德文然后再翻譯為英文,最后出現了這樣一個不合邏輯的詞語“scaled-flight fare.”Lowe先生的本意和利用大數據的翻譯真是完全不搭邊。
等等,我們幾乎忽略了最后一個問題:炒作。大數據的支持者宣稱它是革命性的進步。但是即便是給出大數據的成功例子,比如谷歌流感趨勢的預測,即便有用但對于一些更大的事這些顯得微不足道。相比19世紀和20世紀的偉大發明比如抗生素,汽車,飛機,大數據所得出的東西實在算不了什么。
D1Net評論:
坦白來說,大數據只是一種技術,并不是萬能的上帝,大數據帶來大價值,毫無疑問,我們需要大數據,但是我們也需要更加清醒的認識到,這只是一種每個人都可以分析的重要資源,這才是大數據真諦所在。