最早提出詞匯“Big Data”的是2011年麥肯錫全球研究院發(fā)布的《大數(shù)據(jù):下一個(gè)創(chuàng)新、競爭和生產(chǎn)力的前沿》研究報(bào)告。之后,經(jīng)Gartner技術(shù)炒作曲線和2012年維克托·舍恩伯格《大數(shù)據(jù)時(shí)代:生活、工作與思維的大變革》的宣傳推廣,大數(shù)據(jù)概念開始風(fēng)靡全球。
基于Web of Science數(shù)據(jù)庫中1994年后涉及大數(shù)據(jù)概念的4495篇文獻(xiàn),采用Citespace知識(shí)圖譜工具,通過熱點(diǎn)關(guān)鍵詞和高被引文獻(xiàn)分析,能夠勾勒出大數(shù)據(jù)技術(shù)從萌芽到成熟的發(fā)展歷程。
上世紀(jì)90年代至本世紀(jì)初,是大數(shù)據(jù)發(fā)展的萌芽期,處于數(shù)據(jù)挖掘技術(shù)階段。隨著數(shù)據(jù)挖掘理論和數(shù)據(jù)庫技術(shù)的逐步成熟,一批商業(yè)智能工具和知識(shí)管理技術(shù)開始被應(yīng)用,如數(shù)據(jù)倉庫、專家系統(tǒng)、知識(shí)管理系統(tǒng)等。此時(shí),對于大數(shù)據(jù)的研究主要集中于“Algorithms”(算法)、“Model”(模型)、“Patterns”(模式)、“Identification”(識(shí)別)等熱點(diǎn)關(guān)鍵詞。
大數(shù)據(jù)發(fā)展的突破期是2003至2006年,處于圍繞非結(jié)構(gòu)化數(shù)據(jù)自由探索階段。非結(jié)構(gòu)化數(shù)據(jù)的爆發(fā)帶動(dòng)大數(shù)據(jù)技術(shù)的快速突破,以2004年Facebook創(chuàng)立為標(biāo)志,社交網(wǎng)絡(luò)的流行直接導(dǎo)致大量非結(jié)構(gòu)化數(shù)據(jù)的涌現(xiàn),而傳統(tǒng)處理方法難以應(yīng)對。此時(shí)的熱點(diǎn)關(guān)鍵詞較為分散,包括了“Systems”(系統(tǒng))、“Networks”(網(wǎng)絡(luò))、“Evolution”(演化)等,高被引文獻(xiàn)也很少,說明學(xué)術(shù)界、企業(yè)界正從多角度對數(shù)據(jù)處理系統(tǒng)、數(shù)據(jù)庫架構(gòu)進(jìn)行重新思考,且尚未形成共識(shí)。
2006至2009年,大數(shù)據(jù)技術(shù)形成并行運(yùn)算與分布式系統(tǒng),為大數(shù)據(jù)發(fā)展的成熟期。Jeff Dean在BigTable基礎(chǔ)上開發(fā)了Spanner數(shù)據(jù)庫(2009)。此階段,大數(shù)據(jù)研究的熱點(diǎn)關(guān)鍵詞再次趨于集中,聚焦“Performance”(性能)、“CloudComputing”(云計(jì)算)、“MapReduce”(大規(guī)模數(shù)據(jù)集并行運(yùn)算算法)、“Hadoop”(開源分布式系統(tǒng)基礎(chǔ)架構(gòu))等。
2010年以來,隨著智能手機(jī)的應(yīng)用日益廣泛,數(shù)據(jù)的碎片化、分布式、流媒體特征更加明顯,移動(dòng)數(shù)據(jù)急劇增長。
近年來大數(shù)據(jù)不斷地向社會(huì)各行各業(yè)滲透,使得大數(shù)據(jù)的技術(shù)領(lǐng)域和行業(yè)邊界愈來愈模糊和變動(dòng)不居,應(yīng)用創(chuàng)新已超越技術(shù)本身更受到青睞。大數(shù)據(jù)技術(shù)可以為每一個(gè)領(lǐng)域帶來變革性影響,并且正在成為各行各業(yè)顛覆性創(chuàng)新的原動(dòng)力和助推器。
2013年5月,麥肯錫全球研究所(McKinsey Global Institute)發(fā)布了一份名為《顛覆性技術(shù):技術(shù)進(jìn)步改變生活、商業(yè)和全球經(jīng)濟(jì)》的研究報(bào)告。報(bào)告確認(rèn)的未來12種新興技術(shù),有望在2025年帶來14萬億至33萬億美元的經(jīng)濟(jì)效益。令人驚訝的是,最為熱門的大數(shù)據(jù)技術(shù)卻未被列入其中。麥肯錫專門解釋稱,大數(shù)據(jù)已成為這些可能改變世界格局的12項(xiàng)技術(shù)中許多技術(shù)的基石,包括移動(dòng)互聯(lián)網(wǎng)、知識(shí)工作自動(dòng)化、物聯(lián)網(wǎng)、云計(jì)算、先進(jìn)機(jī)器人、自動(dòng)汽車、基因組學(xué)等都少不了大數(shù)據(jù)應(yīng)用。
2014年5月,美國白宮發(fā)布了2014年全球“大數(shù)據(jù)”白皮書的研究報(bào)告《大數(shù)據(jù):抓住機(jī)遇、守護(hù)價(jià)值》。報(bào)告鼓勵(lì)使用數(shù)據(jù)以推動(dòng)社會(huì)進(jìn)步,特別是在市場與現(xiàn)有的機(jī)構(gòu)并未以其他方式來支持這種進(jìn)步的領(lǐng)域;同時(shí),也需要相應(yīng)的框架、結(jié)構(gòu)與研究,來幫助保護(hù)美國人對于保護(hù)個(gè)人隱私、確保公平或是防止歧視的堅(jiān)定信仰。2014年4月,世界經(jīng)濟(jì)論壇也以“大數(shù)據(jù)的回報(bào)與風(fēng)險(xiǎn)”的相近主題發(fā)布了《全球信息技術(shù)報(bào)告(第13版)》。報(bào)告認(rèn)為,在未來幾年中針對各種信息通信技術(shù)的政策甚至?xí)@得更加重要。在接下來將對數(shù)據(jù)保密和網(wǎng)絡(luò)管制等議題展開積極討論。全球大數(shù)據(jù)產(chǎn)業(yè)的日趨活躍,技術(shù)演進(jìn)和應(yīng)用創(chuàng)新的加速發(fā)展,使各國政府逐漸認(rèn)識(shí)到大數(shù)據(jù)在推動(dòng)經(jīng)濟(jì)發(fā)展、改善公共服務(wù),增進(jìn)人民福祉,乃至保障國家安全方面的重大意義。