10月19日消息，國外媒體Slate刊文指出，“大數據(Big Data)”一詞已經變得沒有以往那么紅火了，為什么會這樣呢？“大數據”的問題并不在于數據或者大數據本身很糟糕，而是在于盲目迷戀數據，不加批判地使用，那會引發災難。數據也不一定完全反映你想要了解的事情的實際情況。
以下是文章主要內容：
5年前——2012年2月——《紐約時報》刊文高呼人類的一個新紀元的到來：“大數據時代”。該文章告訴我們，社會將開始發生一場革命，在這場革命中，海量數據的收集與分析將會改變人們生活的幾乎每一個方面。數據分析不再局限于電子數據表和回歸分析：超級計算的到來，伴隨著可持續記錄數據并將數據傳送到云端的聯網傳感器的不斷普及，意味著邁克爾·劉易斯（Michael Lewis）2003年的棒球書籍《Moneyball》所描述的那種先進數據分析有望被應用于各行各業，從商業到學術，再到醫療和兩性關系。不僅如此，高端的數據分析軟件還有助于鑒定完全意想不到的相關性，比如貸款方用盡額度和他債務違約的可能性之間的關系。這勢必將會催生會改變我們思考幾乎一切事物的新穎見解。
《紐約時報》并不是第一個得出這一結論的企業機構：它的文章引用了麥肯錫咨詢公司2011年的一份重大報告，其觀點也得到了2012年瑞士達沃斯世界經濟論壇題為“大數據，大影響”的官方報告的支持。但這種宣言仿佛就是標志大數據時代開啟的里程碑。在之后的一個月里，巴拉克·奧巴馬（Barack Obama）的白宮成了一個2億美元的國家大數據項目，瘋狂熱潮隨即襲來：學術機構、非盈利組織、政府和企業都爭相去探究“大數據”究竟是什么，他們可以如何好好利用它。
事實證明，這種瘋狂沒有持續很長時間。5年后，數據在我們的日常生活中扮演重要很多的角色，但大數據一詞已經不再流行——甚至讓人覺得有些討厭。我們被允諾的那場革命究竟發生了什么呢？數據、分析技術和算法現在又在往什么方向發展呢？這些問題值得回頭去思考。
科技咨詢公司Gartner在它2015年相當有名的“技術成熟度曲線”報告中不再使用“大數據”一次，之后該詞再也沒有回歸。該公司澄清道，這并不是因為企業放棄挖掘巨量數據集獲得洞見的概念。而是因為那種做法已經變得廣為流行，以至于它不再符合“新興技術”的定義。大數據幫助驅動我們的動態消息、Netflix視頻推薦、自動化股票交易、自動校正功能、健康跟蹤設備等不計其數的工具背后的算法。但我們現在不大使用大數據一詞了——我們只是將它稱作數據。我們開始將數據集能夠包含無數的觀察結果，先進軟件能夠檢測當中的趨勢當做理所當然的事情。
大數據引發的嚴重錯誤
雖然該詞仍有被使用，但它更多地帶有一種不好的意味，比如凱茜·奧尼爾（Cathy O’Neil）2016年的著作《數學殺傷性武器》（Weapons of Math Destruction）或者弗蘭克·帕斯夸里（Frank Pasquale）2015年的《黑箱社會》（The Black Box Society）。匆忙執行和應用大數據，即進行所謂的“數據驅動型決策”，帶來了嚴重的錯誤。
有的錯誤相當惹人注目：塔吉特（Target）曾向一位沒跟任何人說過自己懷孕的少女的家庭派送嬰兒用品優惠券；Pinterest曾恭喜一位單身女性即將結婚；谷歌照片（Google Photos）也曾引發軒然大波，該公司被大肆吹捧的AI將黑人誤以為是大猩猩，原因是它的訓練數據不夠多元化。（值得指出的是，至少在該事件中，“大數據”還不夠大。）
其它的錯誤更為微妙，或許也更加陰險。當中包括奧尼爾在她的重要著作中記錄的那些不透明的數據驅動式制度性模型：被法庭用來判決罪犯的、帶有種族偏見的累犯模型，或者那些基于可疑的測驗分數數據解雇備受愛戴的教師的模型。大數據出錯的新案例可謂層出不窮——比如Facebook算法明顯幫助俄羅斯通過針對性的假新聞影響美國總統大選的結果。
盲目迷戀數據與誤用
“大數據”的問題并不在于數據本身很糟糕，也不在于大數據本身很糟糕：謹慎應用的話，大型數據集還是能夠揭示其它途徑發現不了的重要趨勢。正如茱莉婭·羅斯·韋斯特（Julia Rose West）在最近給Slate撰寫的文章里所說的，盲目迷戀數據，不加批判地使用，往往導致災難的發生。
從本質來看，大數據不容易解讀。當你收集數十億個數據點的時候——一個網站上的點擊或者光標位置數據；大型公共空間十字轉門的轉動次數；對世界各地每個小時的風速觀察；推文——任何給定的數據點的來源會變得模糊。這反過來意味著，看似高級別的趨勢可能只是數據問題或者方法造成的產物。但也許更重大的問題是，你所擁有的數據通常只是你真正想要知道的東西的一個指標。大數據不能解決那個問題——它反而放大了那個問題。
例如，民意調查被廣泛用作衡量人們在選舉中的投票意向的指標。然而，從湯姆·布拉德利（Tom Bradley）1982年在加州州長競選中敗北，到英國脫歐公投，再到特朗普的當選，數十年來結果出乎意料的選舉一再提醒我們，民意測驗和人們實際的投票意向之間并不總是完全一致。Facebook以往主要通過用戶有沒有點贊來估量他們對特定的帖子是否有興趣。但隨著經過算法優化的動態信息開始大量出現標題誘餌、點贊誘餌和嬰兒照片——導致用戶滿意度明顯下降——該公司的高層逐漸意識到，“點贊”這事并不一定意味著用戶真的喜歡特定的內容。
指標和你實際上要估量的東西之間的差別越大，過于倚重它就越危險。以來自奧尼爾的著作的前述例子為例：學區使用數學模型來讓教師的表現評估與學生的測驗分數掛鉤。學生測驗分數與不在教師控制范圍內的無數重要因素有關。大數據的其中一個優勢在于，即便是在非常嘈雜的數據集里，你也可以發現有意義的關聯性，這主要得益于數據量大以及理論上能夠控制混雜變量的強大軟件算法。例如，奧尼爾描述的那個模型，利用來自多個學區和體系的學生的眾多人口結構方面的相關性，來生成測驗分數的“預期”數據集，再拿它們與學生的實際成績進行比較。（由于這個原因，奧尼爾認為它是“大數據”例子，盡管那個數據集并不夠大，沒達到該詞的一些技術定義的門檻。）
試想一下，這樣的系統被應用在同一所學校里面——拿每個年級的教師與其它年級的教師比較。要不是大數據的魔法，學生特定學年異常的測驗分數會非常惹眼。任何評估那些測驗的聰明人，都不會認為它們能夠很好地反映學生的能力，更不用說教他們的老師了。
而前華盛頓特區教育局長李洋姬(Michelle Rhee)實行的系統相比之下更不透明。因為數據集比較大，而不是小，它必須要由第三方的咨詢公司利用專門的數學模型來進行分析解讀。這可帶來一種客觀性，但它也排除掉了嚴密質問任何給定的信息輸出，來看看該模型具體如何得出它的結論的可能性。
例如，奧尼爾分析道，有的教師得到低評分，可能不是因為他們的學生表現糟糕，而是因為那些學生之前一年表現得出奇地好——可能因為下面那個年級的教師謊稱那些學生表現很好，以提升他自己的教學評分。但對于那種可能性，學校高層并沒什么興趣去深究那種模型的機制來予以證實。
加入更多指標
并不是說學生測驗分數、民意調查、內容排名算法或者累犯預測模型統統都需要忽視。除了停用數據和回歸到奇聞軼事和直覺判斷以外，至少有兩種可行的方法來處理數據集和你想要估量或者預計的現實世界結果之間不完全相關帶來的問題。
其中一種方法是加入更多的指標數據。Facebook采用這種做法已有很長一段時間。在了解到用戶點贊不能完全反映他們在動態消息當中實際想要看到的東西以后，該公司給它的模型加入了更多的指標。它開始測量其它的東西，比如用戶看一篇帖子的時長，他們瀏覽其點擊的文章的時間，他們是在看內容之前還是之后點贊。Facebook的工程師盡可能地去權衡和優化那些指標，但他們發現用戶大體上還是對動態消息里呈現的內容不滿意。因此，該公司進一步增加測量指標：它開始展開大范圍的用戶調查，增加新的反應表情讓用戶可以傳達更加細微的感受，并開始利用AI來按頁面和按出版者檢測帖子的標題黨語言。該社交網絡知道這些指標沒有一個是完美的。但是，通過增加更多的指標，它理論上能夠更加接近于形成可給用戶展示他們最想要看到的帖子的算法。
這種做法的一個弊端在于，它難度大，成本高昂。另一個弊端在于，你的模型加入的變量越多，它的方法就會變得越錯綜復雜，越不透明，越難以理解。這是帕斯夸里在《黑箱社會》里闡述的問題的一部分。算法再先進，所利用的數據集再好，它也有可能會出錯——而它出錯的時候，診斷問題幾無可能。“過度擬合”和盲目相信也會帶來危險：你的模型越先進，它看上去與你過往所有的觀察越吻合，你對它越有信心，它最終讓你一敗涂地的危險就越大。（想想次貸危機、選舉預測模型和Zynga吧。）
小數據
對于源自大數據集偏見的問題，另一個潛在的應對方法是部分人所說的“小數據”。小數據是指，數據集足夠簡單到可以直接由人來分析和解讀，不需要求助于超級計算機或者Hadoop作業。跟“慢餐”一樣，該詞也是因為其相反面的流行而產生。
丹麥作家、營銷顧問馬丁·林德斯特羅姆（Martin Lindstrom）在他2016年的著作《小數據：揭示大趨勢的微小線索》中談到了那種做法。例如，丹麥知名玩具廠商樂高（Lego）依據大量聲稱千禧一代需要即時滿足，更容易被比較輕松的項目吸引的研究，轉向提供更大的積木，還在1990年代末和2000年代初打造主題公園和視頻游戲。這種轉型沒有奏效。
那種由數據驅動的范式最后被它的營銷者2004年進行的一項范圍小得多的人類學調查顛覆。它的營銷者逐個詢問小孩他們最珍愛什么物品，發現他們最喜歡也最忠于可讓顯示出其苦苦練就的能力的產品——比如一雙因數百個小時的滑板練習而磨損的舊運動鞋。據林德斯特羅姆（他曾擔當樂高的顧問，自己也很喜歡玩樂高積木）說，樂高重新專注于提供它原來的小積木，由此實現復興。
在很多方面，亞馬遜是可充分說明大數據威力的典型例子。它關于其數以億計的顧客的購買和商品瀏覽習慣的數據，幫助它成為全世界最成功的零售商之一。不過，布拉德·斯通（Brad Stone）在他的書《萬貨商店》（Everything Store）中稱，該公司的CEO杰夫·貝索斯（Jeff Bezos）有個很有趣（對于他的員工來說則很可怕）的方式來平衡所有的那些客觀數據分析。他時不時會將顧客發來的投訴郵件轉發給他的高層團隊，要求他們不僅僅要解決投訴的問題，還要徹底調查清楚它發生的原因，并撰寫一份解釋報告。
這說明，貝索斯不僅僅理解大數據提升各個系統運行效率的威力，還知道大數據也要可能會掩蓋沒有得到有效估量的特定問題的發生原因和機制。在根據你知道該如何測量的事情做出決策的時候，安全的做法是確保也有機制讓你能夠知道你不知道該如何估量的事情。“問題總是，你沒有收集什么數據？”奧尼爾在接受電話采訪時表示，“什么數據是你看不到的？”
未來展望
隨著“大數據”不再被當做熱詞，我們有希望逐漸對數據的威力和陷阱形成更加細致入微的理解。回頭來看，收集數據的傳感器和分析數據的超級計算機一下子大量涌現，引發一股淘金熱，以及很多時候錯失這一切的恐懼會壓過你的審慎情緒，都是可以理解的。與此同時，必然會有深思熟慮的人開始引起我們對這些情況的注意，大數據也不可避免地會帶來反效果。
不過，大數據誤用帶來的威脅，不會僅僅因為我們不再用敬畏的口吻來說那個詞而消失。看看Gartner 2017年技術成熟度曲線的頂峰，你會看到像機器學習和深度學習這樣的詞，以及代表這些計算技術的現實應用的無人駕駛汽車、虛擬助手等相關的詞。這些是基于與大數據一樣的基礎的新“棚架層”，它們全都依賴于大數據。它們已經走在通向真正的突破的道路上——但可以肯定的是，它們也會導致嚴重的錯誤。
京公網安備 11010502049343號