話說太平洋上有個小島,上面住了土著人,與世隔絕上千年,地處偏遠,各國都對這個島沒有興趣。直到二戰時,美國發現這個島是個非常好的中轉站,就去建了個空軍基地。每次飛機來了送給養,也給土著點東西比如午餐肉罐頭什么的。后來戰爭結束了,美軍關了基地離開了。后來,70年代有人去這個島,發現土著人有個宗教,是在廢棄的跑道兩側點燃兩溜火把,然后祭拜,等待天神的到來。
不懂大數據,說下感覺,拋磚引玉,敬請批評。從學術界到商業屆,從基因組到客戶數據發掘,大數據已經流行好多年了,有少數一些成功案例,大多數就是產生一些似是而非的結論。其實大數據非常危險,首先單個數據錯誤可能性非常大,雖然這對得出統計數據可能沒影響,但對得出精確結論影響很大。更有很多高通量低質量的數據,對統計結果都有影響,最后可能garbage in garbage out。其次數據量大了,總能形成pattern,但這不一定是真正的規律或者機制性規律。無論數據量多大,你也不能保證你采集的數據都有用,還有缺失數據,你壓根都沒想到的。我認為還有一個重要問題,就是有多少問題是計算機可以解決的。比如,現代的超級計算機,就算聯網,給它們輸入所有產生量子力學之前物理學的實驗結果,比如光電效應,原子光譜等等,它們能不能產生量子力學?如果不能,憑什么就認為大數據能解決復雜系統如生物的機理性問題?
商業上一些大數據結果的效用也非常可疑。打個比方,比如Amazon買東西,總會被推薦其他的產品,是其他人買了那個東西后也買或者看過的產品。反正我沒碰到過幾次推薦我喜歡的,現在直接略過。當然這是小數據。但就算有一天大數據了,每個人的需求在某個時刻還是不一樣的。每個人的購物習慣也不一樣,還有各種偶然性。比如我喜歡先選好各種商品,比如我自己用的相機鏡頭,還有國內親戚讓我帶的折疊童車,完全無關,還就這一次,Amazon以后就給我推薦尿不濕了,嬰兒玩具了。也許大多數人符合統計規律,但這最終還是統計意義上的模糊營銷。我覺得大數據流行,正說明科學停滯了,無法發現復雜系統的本質規律。而沒有愛因斯坦,波爾和薛定諤那樣的天才,而擅于包裝的所謂能人又不喜歡閑著,資本也需要炒作。所以一拍即合。
原文鏈接:http://www.thebigdata.cn/YeJieDongTai/13979.html