外媒稱,科學家通常對大量數據的可利用性表示歡迎。大多數科學家都在贊美規模龐大的數據庫所帶來的科研機遇,但或許這是因為大家并不真正了解大數據的情況。不時會聽到一些專家提醒說,大數據也有其不利的一面。
據美國《科學新聞》雙周刊網站11月26日報道,普林斯頓大學的統計學家范劍青及其同事寫道:“科學進步越來越多地由數據來推動。海量數據給數據分析既帶來了機遇,也構成了新的挑戰。”
首先,大規模的數據集很有誘惑力,能促使人們展開積極的分析,而且分析者希望能夠從中獲取有獲獎可能性的科學發現。但有時,利用大數據意味著最終得到的是糟糕的數據。要從大數據中得出高見,給計算機科學、統計推斷方法甚至科學方法本身帶來了巨大的挑戰。
當然,計算機領域的科學家通過開發出卓越的計算能力和信息存儲技術,讓大數據的積累成為可能。但是收集數據及存儲信息與理解這些內容并不是一回事。了解大數據的真正意義并不等同于對小數據進行解讀,就像明白鳥群的行為特征并不能解釋一只孤獨的海鷗所發出的叫聲一樣。
文章指出,標準的統計檢驗和計算程序原本是要分析從大的群體中提取的小樣本,從而得出科學推斷。但是大數據提供的樣本極大,有時甚至包括整個群體或者群體的大部分。任務之艱巨會給實施計算過程從而完成統計檢驗帶來問題。
加利福尼亞大學伯克利分校的邁克爾·喬丹說:“許多統計程序要么是有未知的運行時刻,要么是運行時刻讓該程序無法用于大規模的數據。面對這種局面,大規模數據的收集者往往不得不求助于臨時的程序,而這種程序有可能具有糟糕的甚至災難性的統計特性。”
聽起來很糟糕。不過還有更糟的。大數據樣本不僅需要更多的時間去分析,它們往往還包含被抽樣的所有個體的許多不同信息,從統計學的角度講,這意味著這些樣本是“高維的”。更多的維度增加了發現欺騙性關聯的風險。比如,在醫學研究中,可能會將某種藥物的療效與病人的身高聯系在一起。但是這可能僅僅是因為大數據包含方方面面的信息,從身高、體重到眼睛的顏色,再到鞋子的尺碼和最喜歡的棒球隊。需要考慮的維度如此之多,有些維度顯得重要似乎只是出于偶然。
范劍青和合作者說:“高維度可能會導致錯誤的統計推斷和錯誤的科學結論。”
除此之外,范劍青和合作者指出,大數據往往是利用眾多技術和方法,綜合源自多個渠道、不同時間的信息而獲得的。“為了應對大數據帶來的挑戰,我們需要新的統計思路和計算方法。”