近兩年大數(shù)據(jù)真的很熱，但一個(gè)過熱的現(xiàn)象就一定會(huì)有很多誤區(qū)，很多人看了是網(wǎng)上海量數(shù)據(jù)“淘”出來的分析就認(rèn)定了是“真理”，深信不疑，其實(shí)這里頭很可能埋伏了誤區(qū)，使用不慎會(huì)誤導(dǎo)決策。
那里大數(shù)據(jù)能作什么?不能作什么?基于過去六年參予的相關(guān)項(xiàng)目及和計(jì)算機(jī)學(xué)界合作的經(jīng)驗(yàn)，我有一個(gè)初步的看法。
大數(shù)據(jù)當(dāng)然很有用，最明顯的就是茫茫網(wǎng)海中找一個(gè)人或一小群人，“人肉”的威力我不再贅述了。
其次，我想找一個(gè)商機(jī)，如果在大數(shù)據(jù)中挖出一百萬人表達(dá)對某一“產(chǎn)品”的關(guān)注，這絕對會(huì)有足夠的消費(fèi)者，讓產(chǎn)品賺錢，所以大數(shù)據(jù)的商業(yè)應(yīng)用前景十分光明。
再來，如果只是描述性統(tǒng)計(jì)和相關(guān)性分析，不作任何推論，往往也十分靠譜。但是往往這樣的分析只作歸納不作演譯，在很多時(shí)候是不敷應(yīng)用的，尤其是決策者對宏觀世界知識的需求，使得大數(shù)據(jù)分析者會(huì)急于對大數(shù)據(jù)挖掘出來的結(jié)果作推論。比如，我們?nèi)绻f網(wǎng)上交易數(shù)據(jù)發(fā)現(xiàn)某某地區(qū)網(wǎng)上消費(fèi)者對某一產(chǎn)品需求近三個(gè)月成長五成，就很有用，如上面所述，它馬上反應(yīng)了一個(gè)商機(jī)。但是我們?nèi)绻f某一地區(qū)一成的網(wǎng)民，占4%居民數(shù)，其中八成是低學(xué)歷男性，一成在談及某一政策時(shí)用了“贊”，大概這樣的描述，雖靠譜，卻對政策決定者沒什么用。所以不經(jīng)過推論，很多大數(shù)據(jù)挖掘出來的東西會(huì)沒什么用。
如果數(shù)據(jù)本身就是母體而不是樣本，其統(tǒng)計(jì)分析是可以作出詮釋的，這是推論的第一步。比如，我參予過微博轉(zhuǎn)發(fā)研究，用一段時(shí)間內(nèi)所有微博資料來分析，它本身就是微博轉(zhuǎn)發(fā)的所有資料，而不是抽樣，所以用數(shù)據(jù)挖掘出來的發(fā)現(xiàn)作詮釋，尤其是和理論相穩(wěn)合的詮釋，可信度還是不錯(cuò)的。但注意，詮釋可以作出理論的假設(shè)，需要進(jìn)一步資料的驗(yàn)證，詮釋本身卻不能當(dāng)作“真理”、“法則”和“事實(shí)”。
不作推論大數(shù)據(jù)有時(shí)沒用，但一推論就可能掉入很多誤區(qū)，決策者基于錯(cuò)誤的知識作決策，會(huì)帶來十分嚴(yán)重的后果。那么有那些推論的誤區(qū)呢?以我們常看到的一些“輿情分析”或“偏好分析”為例，往往大數(shù)據(jù)挖掘出“某某地方(或某某群人)對某一事物有多高的百分比表示喜歡(或支持)”，這一分析結(jié)果就有五大誤區(qū)可能使這樣的“結(jié)論”偏誤極大。
一、抽樣偏誤。這是最顯而易見，而且是很多人都注意到的，上網(wǎng)的人不等同某一地區(qū)或某一群體的所有的人，他們在年齡、教育、社會(huì)階層、婚姻狀態(tài)等等的社會(huì)屬性上都和平均數(shù)有一定的差距。退一步說，說這是網(wǎng)民的“輿情”或“偏好”，也不準(zhǔn)確，因?yàn)閷σ粋€(gè)事件表達(dá)態(tài)度的人又只是很小一部分的網(wǎng)民，這也只是大數(shù)據(jù)中找出來的“樣本”，不足以推論所有網(wǎng)民。
二、情緒字詞衡量偏誤。要判斷一個(gè)網(wǎng)民針對某一事件中表達(dá)的一段話是“支持還是反對”某一立場或“喜歡還是不喜歡”某一人或事，我們會(huì)抽取出其中的一些字詞，或一小段字詞，判斷這些字詞的屬性，符合那一類情緒基模。我曾和美國心理學(xué)家合作過一百零七個(gè)漢字字辭在中國社會(huì)中的情緒定位，方法上是讓一定數(shù)量，數(shù)十上百位，心理學(xué)受測者，每個(gè)人在電腦問卷上就出現(xiàn)在眼前的字辭表達(dá)情感的三個(gè)維度，EPA，評價(jià)(Evaluation)、情緒強(qiáng)度(Potency)以及引發(fā)行動(dòng)程度(Activity)，再由這三個(gè)維度平均值判斷出這一字詞在中國人中來自于什么樣的情緒。任何衡量字詞相應(yīng)情緒的方法不免還是會(huì)有偏誤，但是在我看到一些國內(nèi)使用的衡量中，三五個(gè)人主觀地判斷就為很多字詞作好情緒歸類，這顯得十分粗糙，衡量偏誤又大的多了。
三、轉(zhuǎn)化偏誤。一段網(wǎng)民的話中可能會(huì)有一個(gè)到數(shù)個(gè)可以抽取出來的字詞，每個(gè)字詞表達(dá)了中國人情緒的EPA三維度，每一維度都是從+3到-3間無限多的刻度來表達(dá)，但最終我們卻要從這一句話中判斷出一個(gè)“支持不支持”的立場或“喜歡不喜歡”的態(tài)度。所以從這么多復(fù)雜衡量的字辭到簡單兩分的結(jié)果，需要一個(gè)轉(zhuǎn)化的模型，甚至不同類別事物的情緒表達(dá)需要不同的轉(zhuǎn)化模型。但如今國內(nèi)的很多大數(shù)據(jù)挖掘，其轉(zhuǎn)化模型只是粗糙的處理，缺乏理論基礎(chǔ)，這又會(huì)加大偏誤。
四、情緒感染偏誤。網(wǎng)上發(fā)言情境中常常會(huì)有一群相同立場的人抱團(tuán)，在一定的輿論陣地中黨同伐異，這會(huì)影響有些后續(xù)發(fā)言者隱藏自己的立場，采用趨同言論，以免犯了眾怒。這又會(huì)使網(wǎng)上表達(dá)有時(shí)不能真實(shí)反應(yīng)一個(gè)人的偏好，在一個(gè)人冷靜獨(dú)處時(shí)會(huì)有不同的表達(dá)，因而產(chǎn)生因情緒感染而有的偏誤。
五、最后一類的偏誤我稱之為資料被截的偏誤(truncated databias)，就是很多行為，越是重要的，特別值得研究的，牽涉到信任感強(qiáng)的行為，其實(shí)網(wǎng)上表達(dá)的只是冰山水面上的部分，大量行為是在網(wǎng)下的，因此資料是被截的(truncated)。比如我在從大數(shù)據(jù)中算一個(gè)人人脈網(wǎng)時(shí)，網(wǎng)上資料較易看出弱連帶，但是算強(qiáng)連帶卻會(huì)有很大的誤差，因?yàn)閺?qiáng)連帶中大多數(shù)親密行為是發(fā)生在網(wǎng)下的，這一部分網(wǎng)上不一定能察覺到。同樣的，一些較敏感的立場，大多數(shù)人較不愿表達(dá)的偏好，以及較機(jī)密的信息，都不會(huì)上網(wǎng)，除非像畢姥爺一樣被偷拍上網(wǎng)了，否則大數(shù)據(jù)是挖掘不到的。如何從已有的網(wǎng)上資料去推論網(wǎng)下被截的部分，是一個(gè)重大而困難的研究，但可以減少truncated data造成的偏誤。
基于這五類推論時(shí)產(chǎn)生的偏誤，使我們想直接從大數(shù)據(jù)挖掘結(jié)果推論出我們想知道的知識時(shí)，常常是以偏概全的，據(jù)以作出決策，不免大錯(cuò)特錯(cuò)，不得不慎。但大數(shù)據(jù)有一個(gè)優(yōu)勢，就是很容易收到慣時(shí)性資料，雖然是“偏”的，但長時(shí)間“偏”的資料的趨勢有時(shí)可以看出未來的端倪，過了“引爆點(diǎn)”， 趨勢就能形成，形勢就不可逆轉(zhuǎn)，大數(shù)據(jù)的分析會(huì)事先提供極為重要的警訊。比如，臺灣“太陽花運(yùn)動(dòng)”就是從“反服貿(mào)懶人包”開始，雖然其中包括了很多錯(cuò)誤而扭曲的信息，你可以罵大量臺灣年輕人知識貧乏沒有國際觀，但它就是能讓很多人相信，一旦變成“普遍知識”時(shí)，馬英九政府想辟謠也來不及了。
有時(shí)“引爆點(diǎn)”只要百分五的人口，網(wǎng)民也就是百分之十，便足以引爆趨勢，從網(wǎng)上漫延到網(wǎng)下，勢不可擋。當(dāng)然這種研究還有很長的路要走，急急忙忙就宣稱自己找到了“大趨勢”的，怕又是忽悠的成份居多。
大數(shù)據(jù)很有用，但也是雙刃劍，濫用誤用會(huì)產(chǎn)生重大決策的錯(cuò)誤，現(xiàn)在大數(shù)據(jù)相關(guān)經(jīng)費(fèi)多，出了一堆又一堆的專家，決策者使用這些專家的挖掘結(jié)果時(shí)不能不慎。
京公網(wǎng)安備 11010502049343號