麻省理工學院數字商業中心首席科學家安德魯·麥卡菲(Andrew McAfee)稱，大數據將成為人類商業歷史上新的篇章。該中心另一名教授埃里克·布林約爾森(Erik Brynjolfsson)稱，大數據將取代想法、范例、組織以及人們思考世界的方式。
這些前衛的預測的前提是：Web瀏覽記錄、傳感器信號、GPS跟蹤和社交網絡信息等數據能夠以前所未有的程度面向衡量和監控人類及設備的行為敞開大門。通過計算機算法，可以預測出人類的許多事情，如購物、約會或投票等。
業內專家預計，最終的結果就是：世界變得越來越智能，企業的工作效率越來越高，消費者獲得的服務質量越來越高，人們所做出的決定也越來越合理。
我之前寫過不少關于大數據的文章，但在2012年底這個特殊的時刻，我想應該是反思、 提問和質疑大數據的時刻。
從商業評估中挖掘實用啟示并非新鮮事物。100多年前，弗雷德里克·溫斯洛·泰勒(Frederick Winslow Taylor)的名著《科學管理原理》就是大數據的前身。泰勒的評估工具是秒表，為員工的每一個行動進行定時和監測。泰勒及其助手利用這種“時間和動作”研究模式來重新設計最有效的工作方式。
但如果這種方法被過度夸大，就成為了卓別林《摩登時代》(Modern Times)所諷刺的對象。此后，人們對于這種量化方法的熱情也開始跌宕起伏。
通常，互聯網被大數據倡導者作為成功的數據業務的范例，這其中以谷歌為代表。而如今，許多大數據技術，如數學模型、預測算法和人工智能軟件等已被華爾街所廣泛應用。
在本月的麻省理工學院大會上，當被問及大數據領域一些重大失敗案例時，幾乎沒有人能夠說出這樣的失敗案例。后來，麻省理工學院斯隆管理學院(Sloan School of Management)教授羅伯特·萊格伯恩(Roberto Rigobon)稱，金融危機毫無疑問影響了數據業務。他說：“對沖基金在全球都是失敗的。”
問題是，數學模型是一種簡化。這種模型源自自然科學，根據物理定律，流體中的粒子行為是可以預測的。
在如此眾多的大數據應用中，一個數學模型通常附帶關于人類行為、興趣和偏好的精確數據。這種方法在金融等領域的危險性也是有目共睹，美國哥倫亞亞大學金融工程學系主任曼紐爾·德曼(Emanuel Derman)在他的書中《Models. Behaving. Badly》中就詳細闡述了其危險性。
紐約創業公司Media6Degrees首席科學家克勞迪婭·珀利徹(Claudia Perlich)稱：“你可以用數據來欺騙自己，我擔心大數據出現泡沫。”珀利徹擔心許多人將自己稱為“數據科學家”，但并未做足功課，反而給該領域抹黑。
珀利徹認為，大數據似乎將面臨勞動力瓶頸。她說：“我們的技能提升速度還遠不夠。”麥肯錫全球學會(McKinsey Global Institute)去年發布的一份報告顯示，美國需要14萬名至19萬名具有“深度分析”經驗的工作者，以及150萬名更加精通數據的經理人，無論是已退休人士還是已受聘人士。
哈佛商學研客座教授托馬斯·達文波特(Thomas H. Davenport)正在寫一本名為《Keeping Up With the Quants》的新書，旨在幫助經理人來應對大數據挑戰。達文波特認為，管理大數據項目的一個重要部分是要問正確的問題：如何定義問題？你需要哪些數據？來自哪里？等等。
谷歌調研(Google Research)高級統計師雷切爾·查特(Rachel Schutt)稱，如果建模人員能夠思考倫理維度(ethical dimensions)等問題，那就會更好地服務于社會。查特說：“模型不僅僅是預測，它們還可以讓事情真正發生。”
模型能夠創建數據科學家所謂的“行為循環”(behavioral loop)，如果一個人被提供足夠的數據，都能對自己的行為進行指導。
以Facebook為例，將個人數據上傳到自己的Facebook頁面，Facebook的軟件就會跟蹤你的點擊和搜索。通過算法來評估這些數據，然后再提供好友的建議。
但這種通過軟件跟蹤用戶的行為卻引發了隱私擔憂，難道大數據將迎來數字監控的到來？
我個人最大的擔憂是，當前確定我們個人數字世界的算法過于簡單，不夠智能。這也是艾利·帕里瑟(Eli Pariser)所著《The Filter Bubble: What the Internet Is Hiding From You》所探討的問題之一。
令人鼓舞的是，像珀利徹和查特這些有思想的數據科學家意識到了大數據技術的局限和不足。他們認為，聽取數據是重要的，但經驗和直覺同樣重要。
在麻省理工學院大會上，查特被問及如何才能成為一名優秀的數據科學家，她說，需要計算機科學和數學技能，擁有好奇心，具有創新意識，以數據和經驗為行動準則。她說：“我不會把機器神化。”
京公網安備 11010502049343號