近兩年來,大數(shù)據(jù)被公眾廣泛討論,甚至成為不少商家宣傳營銷的賣點(diǎn)。毋庸置疑,智能設(shè)備的發(fā)展和普及,使海量的數(shù)據(jù)采集成為可能。但大數(shù)據(jù)并不是單純的“數(shù)據(jù)大”,它更蘊(yùn)含著一種計(jì)算和思維方式的轉(zhuǎn)變,想要發(fā)揮出大數(shù)據(jù)的洞察力,還面臨著采集、管理、分析數(shù)據(jù)的挑戰(zhàn)。這些障礙如何破除?大數(shù)據(jù)在未來將如何應(yīng)用,能否創(chuàng)造出更大的價(jià)值?這些問題值得我們在大數(shù)據(jù)熱中,做出冷靜判斷。
4月26日,清華大學(xué)成立“清華—青島數(shù)據(jù)科學(xué)研究院”,同時(shí)召開大數(shù)據(jù)時(shí)代高端論壇。就在此前兩天,百度在第四屆技術(shù)開放日上,正式宣布對外開放大數(shù)據(jù)引擎,提供大數(shù)據(jù)存儲(chǔ)、分析及挖掘的技術(shù)能力。大數(shù)據(jù)被學(xué)界納入研究范疇,商家開放引擎,這是否意味著大數(shù)據(jù)應(yīng)用進(jìn)入了一個(gè)新階段?
傳統(tǒng)統(tǒng)計(jì)方法追求精確,大數(shù)據(jù)只預(yù)測宏觀趨勢
本是技術(shù)概念的大數(shù)據(jù),如今越來越像一種營銷手段。從汽車、化妝品到體育,在營銷人員口中,似乎所有行業(yè)都可以借助大數(shù)據(jù),精確定位、找到消費(fèi)者,預(yù)測趨勢、贏得未來。
中國人民大學(xué)新聞學(xué)院教授喻國明認(rèn)為,目前從國內(nèi)的情況看,真正運(yùn)用大數(shù)據(jù)分析成功的案例其實(shí)不多,很多公司都是將大數(shù)據(jù)作為一個(gè)營銷噱頭,所做的分析也主要是基于傳統(tǒng)的數(shù)據(jù)分析方法。
事實(shí)上,對于數(shù)據(jù)多大能稱之為“大數(shù)據(jù)”,業(yè)界并沒有統(tǒng)一的認(rèn)識(shí),通常認(rèn)為100TB(太字節(jié))是大數(shù)據(jù)的門檻。簡而言之,傳統(tǒng)方法無法處理的數(shù)據(jù)即為大數(shù)據(jù)。
大數(shù)據(jù)的產(chǎn)生得益于移動(dòng)互聯(lián)網(wǎng)以及智能手機(jī)、各種智能穿戴產(chǎn)品的發(fā)展,人們行為、位置,甚至身體的生理特征等數(shù)據(jù)都可以便捷地被記錄,這使海量數(shù)據(jù)采集成為可能。事實(shí)上,目前數(shù)據(jù)采集量正呈現(xiàn)快速的增長趨勢。一家國際數(shù)據(jù)統(tǒng)計(jì)機(jī)構(gòu)最新預(yù)測指出,2020年,全世界產(chǎn)生的數(shù)據(jù)量有望達(dá)到40ZB(澤字節(jié),1澤字節(jié)等于10億太字節(jié))。
但大數(shù)據(jù)不能單純理解為數(shù)據(jù)大。大數(shù)據(jù)研究專家、北京航空航天大學(xué)校長懷進(jìn)鵬表示,大數(shù)據(jù)具有“規(guī)模大、變化快、種類雜、價(jià)值密度低”四個(gè)特征,是對傳統(tǒng)計(jì)算和思維方式的一種挑戰(zhàn)。
首先,因?yàn)閹缀趺總€(gè)數(shù)據(jù)點(diǎn)都可以采集,全面數(shù)據(jù)代替了抽樣、片面、局部的數(shù)據(jù)。“拿炒菜打比方,傳統(tǒng)的抽樣,我們需要在開始和中間時(shí)候‘嘗一嘗’,‘嘗一嘗’就是抽樣數(shù)據(jù),但在大數(shù)據(jù)時(shí)代,隨機(jī)抽樣的方式可能就失效了。”懷進(jìn)鵬說。
懷進(jìn)鵬認(rèn)為,因?yàn)槌闃臃治鰰r(shí)數(shù)據(jù)測量能力有限,統(tǒng)計(jì)追求的是精確,希望用最少數(shù)據(jù)獲得最多的信息。而大數(shù)據(jù)比較雜亂,完整的精確不存在,也不再是追求的絕對目標(biāo),大數(shù)據(jù)只需對宏觀趨勢給出快速預(yù)測。
另一個(gè)改變是,從關(guān)注因果轉(zhuǎn)向數(shù)據(jù)之間關(guān)聯(lián)。在大數(shù)據(jù)時(shí)代,“數(shù)據(jù)背后的原因不再重要,人們只需要知道數(shù)據(jù)之間有統(tǒng)計(jì)相關(guān)性就行。僅需知其然,無需知其所以然。”懷進(jìn)鵬說。
在大數(shù)據(jù)的支持者看來,數(shù)據(jù)已經(jīng)能夠自己說話,傳統(tǒng)的科學(xué)統(tǒng)計(jì)模型已經(jīng)過時(shí),理論也可能被終結(jié)。
大數(shù)據(jù)營銷大多是噱頭,一些機(jī)構(gòu)甚至無法收集海量數(shù)據(jù)
被譽(yù)為開大數(shù)據(jù)系統(tǒng)研究先河之作的《大數(shù)據(jù)時(shí)代》作者指出,大數(shù)據(jù)是社會(huì)的一種新型能力:以一種前所未有的方式,通過對海量數(shù)據(jù)進(jìn)行分析,獲得巨大價(jià)值的產(chǎn)品和服務(wù),或深刻的洞見。
大數(shù)據(jù)蘊(yùn)含的發(fā)現(xiàn)事實(shí)、挖掘價(jià)值、預(yù)測未來的洞察力,也是各色大數(shù)據(jù)營銷的理論出發(fā)點(diǎn)。實(shí)際上,大數(shù)據(jù)洞察力確實(shí)在公共衛(wèi)生、交通運(yùn)輸?shù)刃袠I(yè)開始發(fā)揮。
中國疾病預(yù)防控制中心副主任、中科院院士高福也認(rèn)同大數(shù)據(jù)在公共衛(wèi)生預(yù)防控制上的作用。他說,通過大數(shù)據(jù),可以在流感到來之前為人們提供一些解釋性信息,為流感的預(yù)防提供緩沖時(shí)間。
同樣,在智能交通時(shí)代,海量車輛信息沒法通過傳統(tǒng)方式分析,但借助大數(shù)據(jù),則可能提前預(yù)測未來的車流量、行進(jìn)路線等信息,從而為改善城市交通狀況提出優(yōu)化方案。
然而,“自己能夠講話的大數(shù)據(jù)”,是否真如營銷人員暢想得那么美好?
分析人士指出,數(shù)據(jù)存儲(chǔ)和搬運(yùn)雖然越來越便利,但目前大數(shù)據(jù)應(yīng)用面臨著數(shù)據(jù)收集,管理、分析海量數(shù)據(jù)并創(chuàng)造價(jià)值的挑戰(zhàn)。
“如果將數(shù)據(jù)比作書,書增多后,首先要找到儲(chǔ)存大數(shù)據(jù)的‘大圖書館’,下一步則要解決數(shù)據(jù)查詢問題,沒有好的查詢引擎,書找不到,數(shù)據(jù)也就很難利用。” 百度大數(shù)據(jù)總監(jiān)李鋼江說。而現(xiàn)實(shí)是,大部分機(jī)構(gòu)和企業(yè)都沒有海量數(shù)據(jù)收集存儲(chǔ)以及分析管理的能力。
業(yè)內(nèi)人士指出,大數(shù)據(jù)在一些領(lǐng)域的營銷還只是噱頭,先不論大數(shù)據(jù)分析結(jié)果是否有效,有些行業(yè)連基本的大數(shù)據(jù)采集和管理?xiàng)l件還不具備,更談不上精確定位和預(yù)測。
百度高級(jí)副總裁王勁也表示,傳統(tǒng)的數(shù)據(jù)庫沒有管理大數(shù)據(jù)的能力,傳統(tǒng)行業(yè)如何進(jìn)入大數(shù)據(jù)時(shí)代,利用大數(shù)據(jù)價(jià)值,是擺在很多行業(yè)面前的新課題。
提升計(jì)算能力和降低云存儲(chǔ)成本,將有利于大數(shù)據(jù)技術(shù)變革
百度首席執(zhí)行官李彥宏認(rèn)為,隨著計(jì)算能力的提升和云存儲(chǔ)等技術(shù)產(chǎn)品成本的不斷降低,大數(shù)據(jù)走到了技術(shù)變革的臨界點(diǎn)。不久前,百度就推出了“百度大數(shù)據(jù)引擎”,百度希望借助該工具,對大數(shù)據(jù)進(jìn)行收集、存儲(chǔ)、計(jì)算、挖掘和管理,并通過深度學(xué)習(xí)技術(shù)和數(shù)據(jù)建模技術(shù),使數(shù)據(jù)具有“智能”的技術(shù)能力,服務(wù)傳統(tǒng)行業(yè)。
據(jù)了解,百度大數(shù)據(jù)引擎包括開放云、數(shù)據(jù)工廠、百度大腦三大組件。其中,開放云解決的是數(shù)據(jù)存儲(chǔ)和計(jì)算問題;“數(shù)據(jù)工廠”則對行業(yè)數(shù)據(jù)進(jìn)行規(guī)范化處理,提供數(shù)據(jù)管理和分析;而“百度大腦”則讓機(jī)器和人腦一樣思考,分析處理數(shù)據(jù)。
不過,分析人士指出,雖然各方面為挖掘大數(shù)據(jù)開發(fā)了很多工具,但大數(shù)據(jù)的成熟應(yīng)用還有很長一段時(shí)間。首先,數(shù)據(jù)雜亂,價(jià)值密度低,如何有效的收集數(shù)據(jù)信息仍沒有成熟的方案。同時(shí),數(shù)據(jù)的規(guī)模并不能決定一切,不論是那種數(shù)據(jù)分析方式,都可能存在統(tǒng)計(jì)上的缺陷,不能說數(shù)據(jù)更大、更新、更快就沒有問題。
英特爾中國研究院首席工程師吳甘沙表示,大數(shù)據(jù)作為一種新的數(shù)據(jù)形態(tài)和實(shí)踐,它將豐富數(shù)據(jù)應(yīng)用方法,卻不能取代傳統(tǒng)統(tǒng)計(jì)分析方法,更不能神化大數(shù)據(jù)。