維克托·爾耶·舍恩伯格在《大數(shù)據(jù)時代:生活、工作與思維的大變革》中最具洞見之處在于,他明確指出,大數(shù)據(jù)時代最大的轉(zhuǎn)變就是,放棄對因果關(guān)系的渴求,而取而代之關(guān)注相關(guān)關(guān)系。也就是說只要知道“是什么”,而不需要知道“為什么”。這顛覆了千百年來人類的思維慣例,對人類的認(rèn)知和與世界交流的方式提出了全新的挑戰(zhàn)。
知名IT研究機(jī)構(gòu)Gartner以它對專業(yè)IT市場的“魔力象限圖”發(fā)布作為一種評價方式,在其二維矩陣?yán)铮瑱M軸是前瞻的完整性,縱軸是執(zhí)行力,如果用此分析方法來評價《大數(shù)據(jù)時代》這本書,它大概位于右下角靠近縱軸中間點(diǎn)的位置。
2012年,筆者看過的3本有關(guān)大數(shù)據(jù)的中文書,它們分別是《證析》、《大數(shù)據(jù)》和維克托·邁爾·舍恩伯格的《大數(shù)據(jù)時代》。與其他兩本相比,舍恩伯格這本書的特點(diǎn)重在“Impact Analysis”的前瞻分析,在大數(shù)據(jù)時代的思維變遷方面有啟發(fā)價值。也說是說,此書對于企業(yè)高管和CIO的價值更大,它基本沒有太多討論技術(shù),而偏重于觀念轉(zhuǎn)移(Paradigm Shift)。
簡單說來,這本書的價值可以用兩個“三”、一個“一”來概括:第1個“三”是3個關(guān)于大數(shù)據(jù)的思維變換,重在大數(shù)據(jù)變革時代的價值與觀念變化;第2個 “三”是關(guān)于大數(shù)據(jù)影響商業(yè)變革的3個要素:即數(shù)據(jù)、技術(shù)與創(chuàng)新思維之間的互動;一個“一”是關(guān)于大數(shù)據(jù)泛化下的治理與隱私。
關(guān)于大數(shù)據(jù)本身的價值已無需贅述,此處重點(diǎn)討論關(guān)于大數(shù)據(jù)的3個思維變化:1.不是隨機(jī)樣本,而是全體數(shù)據(jù);2.不是精確性,而是混雜性,尤其是大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復(fù)雜算法有效;3.不是因果關(guān)系,而是相互關(guān)系。
《大數(shù)據(jù)時代》一書提醒讀者,大數(shù)據(jù)是全數(shù)據(jù),至少維度要全,這帶來了觀察和分析事物的角度變化,尤其相對于傳統(tǒng)IT系統(tǒng)數(shù)據(jù),大數(shù)據(jù)強(qiáng)調(diào)了數(shù)據(jù)的外部性和實(shí)時性,這兩個特性也使得“證析”提到的基于事實(shí)(Evidence)的分析成為可能,不過此書忽略了外部數(shù)據(jù)與企業(yè)內(nèi)部數(shù)據(jù)結(jié)合的分析價值。比如,對于政府來說,分析大范圍的公共衛(wèi)生事件、傳染病可以更快地利用大數(shù)據(jù)(比如微博)發(fā)現(xiàn)目前的情況,但具體要調(diào)度資源,還是需要結(jié)合“小數(shù)據(jù)”的精確決策。
第2點(diǎn)的核心觀念關(guān)于大數(shù)據(jù)的簡單算法來自谷歌的洞見,也來自于Hadoop(一個分布式系統(tǒng)基礎(chǔ)架構(gòu),由Apache基金會開發(fā))這類算法的核心理念。大數(shù)據(jù)的簡單算法是一種統(tǒng)計(jì)學(xué)的邏輯,這個如同熱力學(xué)的分析模式,熱力學(xué)并不關(guān)心具體的分子運(yùn)動,而是關(guān)心溫度、體積、壓強(qiáng)之間的宏觀聯(lián)系,關(guān)于這種理念的內(nèi)在理解,建議讀者從吳軍的《數(shù)學(xué)之美》一書中獲得,只有真正理解了大數(shù)據(jù)基于統(tǒng)計(jì)學(xué)的思維方式,才能理解它的獨(dú)特優(yōu)勢和局限。這種方式可以解決以往技術(shù)無法解決的大范圍、實(shí)時性和并行處理等問題,并帶來新的洞見,它用概率說話,并不是和人就細(xì)節(jié)較真。這個來自互聯(lián)網(wǎng)公司的觀念是,希望先解決80%的趨勢問題,然后慢慢精細(xì)化。
第3點(diǎn),大數(shù)據(jù)關(guān)注“是什么”,而不是“為什么”,經(jīng)常網(wǎng)購的人會更容易體會。很多電商網(wǎng)站的推薦引擎具備這種能力,它能夠在顧客買書的時候,推薦顧客剛好喜歡的其他書籍,顧客可能不知道“為什么”,其實(shí)網(wǎng)站也不在乎“為什么”,(“為什么”可以由學(xué)術(shù)專家慢慢分析)。但是網(wǎng)站根據(jù)成千上萬甚至上億人的統(tǒng)計(jì)學(xué)分析,就可以發(fā)現(xiàn)“關(guān)聯(lián)物”,或者說大數(shù)據(jù)更擅長通過統(tǒng)計(jì)分析人類所不能感知的關(guān)聯(lián),并建議人采取行動。這個革命式的思維非同小可,以前“啤酒+尿布”的數(shù)據(jù)倉庫故事需要數(shù)據(jù)整理、清洗轉(zhuǎn)換和專家建模挖掘,其采購行為的關(guān)聯(lián)性可能被Hadoop等算法輕易的發(fā)現(xiàn)。上述方式由于分析門檻低,已經(jīng)成為一種常見的工具,并衍生大數(shù)據(jù)的云服務(wù)的商業(yè)模式,成為企業(yè)可以購買的“分析即服務(wù)”(Analytics as a Services),國內(nèi)阿里系正致力于這種模式的建立。
第2部分關(guān)于大數(shù)據(jù)商業(yè)模式方面,最有價值的是關(guān)于大數(shù)據(jù)商業(yè)生態(tài)的分析,除了大家熟知的數(shù)據(jù)、技術(shù),作者認(rèn)為還有第3種基于思維的大數(shù)據(jù)公司,包括數(shù)據(jù)中間商等等,這對于國內(nèi)過于關(guān)注技術(shù)本身的趨勢是個很好的提醒。一個有趣的話題是,作者認(rèn)為基于統(tǒng)計(jì)的數(shù)據(jù)科學(xué)家會逐步取代行業(yè)專家,因?yàn)榇髷?shù)據(jù)發(fā)現(xiàn)的新的真實(shí)聯(lián)系,可能會顛覆傳統(tǒng)行業(yè)專家,這個話題學(xué)術(shù)界可能很感興趣。一個耐人尋味的例子是,基于大數(shù)據(jù)統(tǒng)計(jì)分析的自然語言翻譯幾年前就勝過了基于語義理解的語言學(xué)家派別,書中提到的一個從事語言翻譯的算法小組甚至開玩笑地說,“每次我們組走了一個語言專家,我們的翻譯精確度就提高一些”。
第3部分是關(guān)于大數(shù)據(jù)成為喬治·奧威爾《一九八四》里的“老大哥”,即通過技術(shù)手段實(shí)現(xiàn)了無處不在的監(jiān)控以后,隱私和濫用的問題最為讓人擔(dān)心。筆者認(rèn)為這個話題過于公共,而且已有很多文章在討論,并不是本書的特質(zhì),況且大數(shù)據(jù)的興起是一個漸進(jìn)的過程,各個行業(yè)的實(shí)用案例尚在興起,行業(yè)內(nèi)部應(yīng)專注于行業(yè)創(chuàng)新,關(guān)于公共的話題的討論還是留給學(xué)者、政府和未來。
西方作者有一類是理念的鼓吹者,最著名是《失控》的作者KK(凱文·凱利),此類被讀者推崇為傳教士的作者,喜歡推廣顛覆式的觀念,產(chǎn)生一種前世今生(Before/After)比較的震撼力。本書作者也是如此,如此顛覆,強(qiáng)力的大數(shù)據(jù)時代似乎正在到來,然而,此類作者也會被人指責(zé)為“管殺不管埋” ——提出理念,不對具體的可行性負(fù)責(zé)。回到前文提到的Gartner的“魔力象限圖”,漸進(jìn)的執(zhí)行力才是大數(shù)據(jù)這種趨勢逐步在各個行業(yè)開花的關(guān)鍵。