百度能知道我們?cè)陉P(guān)注什么，淘寶能洞察我們喜歡什么，這是喜還是憂？大數(shù)據(jù)已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。《自然與科技》雜志最近刊文研判，人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)。

沒(méi)有最大，只有更大

維基百科這樣定義大數(shù)據(jù)(Big data)：大數(shù)據(jù)或巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大，以至于無(wú)法在合理時(shí)間內(nèi)通過(guò)人工截取、管理、處理并整理成為人類所能解讀的信息。

IBM團(tuán)隊(duì)為了讓電腦戰(zhàn)勝國(guó)際象棋冠軍卡斯帕羅夫，收集了將近100年來(lái)的60萬(wàn)盤(pán)高手的棋譜，這個(gè)就是大數(shù)據(jù)，人腦是無(wú)法記憶所有這些棋譜并加以有效利用的。1997年，國(guó)際象棋特級(jí)大師卡斯帕羅夫在《危險(xiǎn)邊緣》(jeopardy)節(jié)目中首次輸給了IBM深藍(lán)電腦，成為轟動(dòng)一時(shí)的新聞。電腦能戰(zhàn)勝人腦，秘訣就在于存儲(chǔ)在深藍(lán)電腦內(nèi)的棋譜大數(shù)據(jù)。科學(xué)家研制了人工智能博弈軟件，能從大量的棋譜中找出最合適的步驟，這是人腦所無(wú)法企及的。

有人把大數(shù)據(jù)的特征歸納為4V：Volume(量大)、Variety(多樣)、Velocity(高速)、Value(價(jià)值密度低)。讓我們來(lái)回顧一下去年的“雙十一”節(jié)，那天淘寶商城達(dá)成了1.88億筆交易，總交易額達(dá)到創(chuàng)紀(jì)錄的350.19億元。這些交易記錄就形成了那天瘋狂網(wǎng)購(gòu)的大數(shù)據(jù)。

這樣的記錄首先體現(xiàn)在數(shù)據(jù)量巨大上。首先，我們知道一部高清電影的容量大約有1GB，而1024個(gè)GB就是一個(gè)TB，再1024個(gè)TB就是一個(gè)PB，而大數(shù)據(jù)往往達(dá)到PB數(shù)量級(jí)，可見(jiàn)數(shù)據(jù)量大得無(wú)法想象；其次，就是數(shù)據(jù)的多樣性，交易的品種、賣家的信息、買家的信息、快遞的信息、支付的信息，構(gòu)成了一個(gè)行業(yè)多樣化的數(shù)據(jù)鏈；第三，就是數(shù)據(jù)產(chǎn)生的速度極快，檢索結(jié)果的速度也要求快，要在幾百萬(wàn)件商品中查找出一類商品，其檢索速度只需要1秒，這是傳統(tǒng)技術(shù)無(wú)法達(dá)到的。最后，需要說(shuō)明的是，大數(shù)據(jù)的內(nèi)容雖然真實(shí)、完整地反映了客觀世界，但它的價(jià)值密度很低，如果不去研究挖掘，大數(shù)據(jù)是不會(huì)自動(dòng)產(chǎn)生有用結(jié)果的。比如，在街景的海量監(jiān)控視頻中，犯罪分子留下的蹤影也許只有幾秒鐘。

大數(shù)據(jù)時(shí)代

英國(guó)的大數(shù)據(jù)權(quán)威專家維克托·邁爾·舍恩伯格(Viktor Mayer-Sch nberger)寫(xiě)過(guò)一本書(shū)，書(shū)名就叫《大數(shù)據(jù)時(shí)代》，書(shū)中首次斷言人類已經(jīng)無(wú)可逆轉(zhuǎn)地跨入了大數(shù)據(jù)時(shí)代。據(jù)他估算，人類在2000年時(shí)大約只有1/4的信息實(shí)現(xiàn)了數(shù)字化，其他的3/4信息仍然以報(bào)紙、書(shū)籍、膠片、磁帶等形式存在，但到了2007年人類存儲(chǔ)的數(shù)據(jù)超過(guò)了300艾字節(jié)，相當(dāng)于3000億GB的信息量。大數(shù)據(jù)時(shí)代在生活、工作和思維上給人們帶來(lái)了巨大變革。

首先，是數(shù)據(jù)的形式由原來(lái)的關(guān)系型數(shù)據(jù)(如電子表格形式)更多地表現(xiàn)為非關(guān)系型數(shù)據(jù)(如用戶評(píng)論、圖片等)；數(shù)據(jù)存儲(chǔ)方式也由原來(lái)集中式存儲(chǔ)變?yōu)榉植际酱鎯?chǔ)，大型數(shù)據(jù)不得不存儲(chǔ)在不同地方的存儲(chǔ)服務(wù)器中，通過(guò)網(wǎng)絡(luò)進(jìn)行互聯(lián)訪問(wèn)，構(gòu)成所謂的云存儲(chǔ)。

其次，是對(duì)數(shù)據(jù)處理的方式發(fā)生了根本變化，人們已無(wú)法只用一臺(tái)電腦處理數(shù)據(jù)，必須依賴網(wǎng)絡(luò)后面的云平臺(tái)，進(jìn)行云計(jì)算，才能有效處理大數(shù)據(jù)。在對(duì)大數(shù)據(jù)處理上，我們可以看到三個(gè)有趣的變化：在小數(shù)據(jù)時(shí)代，人們限于獲取數(shù)據(jù)的困難，只能采用隨機(jī)抽樣的方式獲取數(shù)據(jù)樣本，然后根據(jù)樣本數(shù)據(jù)進(jìn)行分析預(yù)測(cè)。一旦樣本出現(xiàn)偏差，那推導(dǎo)出的結(jié)果就會(huì)產(chǎn)生很大的誤差。

而在大數(shù)據(jù)時(shí)代，我們能輕易地得到數(shù)據(jù)全體，而不再需要樣本。譬如，阿里巴巴能得到所有買家的數(shù)據(jù)，它能輕易地統(tǒng)計(jì)“光棍節(jié)”那天的交易金額，算出哪個(gè)地區(qū)交易最活躍，可以通過(guò)媒體實(shí)時(shí)轉(zhuǎn)播交易盛況。這就是大數(shù)據(jù)的全數(shù)據(jù)模式，數(shù)據(jù)處理的范圍是全體，而不再是樣本。第二個(gè)變化，是不再一味地追求數(shù)據(jù)的精確性。由于大數(shù)據(jù)的多樣性、豐富性、動(dòng)態(tài)性(在處理的同時(shí)，數(shù)據(jù)還在大量產(chǎn)生)，強(qiáng)調(diào)數(shù)據(jù)的精確性是做不到的，也沒(méi)有必要。紛繁的數(shù)據(jù)會(huì)混雜在一起，看起來(lái)好像全無(wú)用處，甚至有些還是錯(cuò)誤的數(shù)據(jù)，但沒(méi)有關(guān)系，這就是大數(shù)據(jù)的本性，看似無(wú)關(guān)無(wú)用的一堆數(shù)據(jù)卻蘊(yùn)含著無(wú)限商機(jī)。

想一想，當(dāng)人們?cè)诎俣壬媳纫酝嗟厮阉?ldquo;感冒”、“發(fā)熱”等關(guān)鍵字時(shí)，往往意味著某地將要爆發(fā)流感，甚至還能預(yù)測(cè)是什么流感，這就是大數(shù)據(jù)的威力。第三個(gè)變化，是關(guān)注數(shù)據(jù)之間的相關(guān)性，而不是因果關(guān)系。比方說(shuō)，通過(guò)挖掘天貓商城的交易數(shù)據(jù)，發(fā)現(xiàn)購(gòu)買德龍咖啡機(jī)的買家，會(huì)有很高的比例購(gòu)買寵物糧食，那商家會(huì)不失時(shí)機(jī)地推薦你購(gòu)買皇家狗糧。咖啡機(jī)與狗糧沒(méi)有因果關(guān)系，但卻有內(nèi)在的相關(guān)性。數(shù)據(jù)之間的相關(guān)性，就是大數(shù)據(jù)所蘊(yùn)含的價(jià)值，也是商家追求的商機(jī)。大數(shù)據(jù)的相關(guān)性，告訴我們?cè)诿鎸?duì)錯(cuò)綜繁雜的大數(shù)據(jù)時(shí)，我們不需要去研究“為什么”，只要知道“是什么”就足夠了。

最后，大數(shù)據(jù)時(shí)代將催生一個(gè)數(shù)據(jù)挖掘行業(yè)，出現(xiàn)一批數(shù)字科學(xué)家。簡(jiǎn)單地說(shuō)，數(shù)據(jù)挖掘就是從收集的數(shù)據(jù)中用一定的算法分析計(jì)算，得到我們所需要信息和知識(shí)的過(guò)程。傳統(tǒng)的統(tǒng)計(jì)分析是將數(shù)據(jù)按已知的類別進(jìn)行分類統(tǒng)計(jì)，然后尋找有價(jià)值的數(shù)據(jù)。如果給定的分類是不合理的或是錯(cuò)誤的，那統(tǒng)計(jì)出來(lái)的結(jié)果就不會(huì)產(chǎn)生最好的效果。而數(shù)據(jù)挖掘采用的是一種叫作“聚類”的方法，它事先不需要人工分類，而是由算法分析數(shù)據(jù)的屬性，將數(shù)據(jù)自動(dòng)聚集成“類”，使“類”間的相似性盡量小，“類”內(nèi)的相似性盡量大。比方說(shuō)，保險(xiǎn)業(yè)務(wù)涵蓋各類人群、各種職業(yè)，所以設(shè)計(jì)某個(gè)險(xiǎn)種潛在的客戶目標(biāo)群，需要對(duì)大量數(shù)據(jù)進(jìn)行挖掘，才能找出不同的客戶群和重要系數(shù)，這不是事先人為設(shè)定的。要“讓數(shù)據(jù)自己說(shuō)話”，這樣才能因地制宜地制定營(yíng)銷計(jì)劃，科學(xué)測(cè)算盈虧平衡，為保險(xiǎn)企業(yè)創(chuàng)造更多利潤(rùn)。

[page]

大數(shù)據(jù)的紅利

有人斷言，數(shù)據(jù)將成為人類的重要資產(chǎn)，成為比石油和黃金更為重要的可重復(fù)開(kāi)發(fā)使用的資源。筆者也認(rèn)同這個(gè)觀點(diǎn)。最近，媒體報(bào)道“三馬”聯(lián)手買保險(xiǎn)新聞，這是一個(gè)攢取大數(shù)據(jù)紅利的例子。“三馬”利用阿里巴巴、騰訊和平安保險(xiǎn)三家公司掌握大數(shù)據(jù)的優(yōu)勢(shì)，成立了網(wǎng)絡(luò)保險(xiǎn)公司——眾安在線，這是具里程碑的互聯(lián)網(wǎng)金融創(chuàng)新，旨在利用大數(shù)據(jù)對(duì)保險(xiǎn)消費(fèi)者進(jìn)行準(zhǔn)確定位和精準(zhǔn)營(yíng)銷，瞄準(zhǔn)的主要是80后、90后消費(fèi)者。可見(jiàn)，利用大數(shù)據(jù)技術(shù)將是未來(lái)各保險(xiǎn)公司搶奪市場(chǎng)非常關(guān)鍵的一環(huán)。

另一個(gè)有益的應(yīng)用將是利用大數(shù)據(jù)來(lái)防范電信詐騙。電信詐騙是當(dāng)今社會(huì)的一大頑疾，如果電信、銀行、互聯(lián)網(wǎng)、公安等各方擯棄利益糾結(jié)，共享各自的大數(shù)據(jù)，那么最大限度地杜絕電信詐騙是完全可能的。我們只要分析挖掘各方的大數(shù)據(jù)，找出電信詐騙相關(guān)性的數(shù)據(jù)因數(shù)，然后建立動(dòng)態(tài)監(jiān)控模型，那么一旦相關(guān)數(shù)據(jù)出現(xiàn)，公安就能根據(jù)數(shù)據(jù)鏈快速找到詐騙犯。

炒股的高手都想賺取大數(shù)據(jù)概念股的紅利。大數(shù)據(jù)的紅利在哪里？存在于大數(shù)據(jù)的擁有者、大數(shù)據(jù)技術(shù)公司和大數(shù)據(jù)價(jià)值挖掘者(也就是提供思維的數(shù)據(jù)科學(xué)家)。馬云說(shuō)過(guò)：未來(lái)的世界是數(shù)據(jù)的世界。大數(shù)據(jù)時(shí)代已經(jīng)撼動(dòng)了世界的方方面面，從工業(yè)、農(nóng)業(yè)、商業(yè)、科技到政府、醫(yī)療、教育、文化以及社會(huì)的其他各個(gè)領(lǐng)域，人們的生活日益被數(shù)據(jù)所改變。可以說(shuō)，大數(shù)據(jù)是一種比石油、黃金還要珍貴的資源，誰(shuí)掌握了足夠多的數(shù)據(jù)，誰(shuí)就搶占了制高點(diǎn)，增強(qiáng)了競(jìng)爭(zhēng)力，也就掌握了未來(lái)。