“人類歷史上最早的一批城市都誕生在河邊，河流為人類提供了食物、水和交通。而我們要做的就是創造一條數據的河流，滋養信息經濟的發展。”

　　—紐約一家數據網站首頁的標語

什么是大數據

“大數據”一詞已經無處不在，然而其概念仍然存在混淆。有人從數量大、速度快、種類多等特征定義大數據；有人把大數據看作一項新技術，例如大數據處理技術Hadoop和非關系型數據庫NoSQL；有人從大數據與數據的區別角度提出，大數據不僅包括人們過去搜集、存儲和分析的交易數據，更包括人們從點擊網頁等操作中得到的交互數據以及機器自動搜集的觀察數據；還有人認為大數據是一種新的預測信號，在傳統情況下，當數據被記錄時，人們已經無法對它們采取任何行動，組織在不斷管理“失效的數據”，而在“新世界”，組織可以使用信號數據預測將發生什么，并通過干預改善情況。

值得注意的是，無論如何定義，業界幾乎所有人都普遍認同，大數據不只是更多的數據，大數據是一個大事件，在未來幾年將帶來重大的機遇。

大數據與數據有何不同

“大數據”一詞由英文“Big Data”翻譯而來。很多文章在介紹大數據這一概念時都側重于強調其“大”，即需要處理的信息量過大，已經超出了一般計算機在處理數據時所能使用的內存量，因此工程師們必須改進處理數據的工具。

然而，究竟多大才算是大數據？這個問題并沒有標準答案，因為大數據的標準是不斷調整的。麥肯錫全球研究所報告對大數據有以下定義：大數據是指大小超出了傳統數據庫軟件工具的抓取、存儲、管理和分析能力的數據群。這個定義有意地帶有主觀性，即我們不以超過多少TB為大數據的標準。我們假設隨著時間的推移和技術的進步，大數據的量仍會增加。還應注意到，該定義可以因部門的不同而有所差異，這取決于什么類型的軟件工具是通用的，以及某個特定行業的數據集通常的大小。因此，今天眾多行業的大數據范圍可以從幾十TB到數千TB。

有人可能有這樣的疑問：大數據不就是數據分析的另一種說法嗎？大數據與數據究竟有何不同？大數據與傳統的數據挖掘相比，與其說是一種量的進步，不如說是一種質的飛躍。人們在大數據的基礎上可以做到的事情，在小規模數據的基礎上是無法完成的。

高德納的一份報告認為：大數據是需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。這一概念雖然簡潔，卻內涵豐富：第一，它認為大數據是一種信息資產；第二，這種信息資產具有海量、高增長率和多樣化的屬性；第三，它指出了大數據的應用價值和革新意義，即具有更強的決策力、洞察力和流程優化能力。

筆者更贊同高德納的定義，把大數據看作一種戰略和習慣，一種新的世界觀和方法論。例如，谷歌不用分發口腔試紙和聯系醫院，就能給出和基于大量真實病例所得到的流感情況一致的結果，并且比疾控中心提前了兩周，就是因為它分析了數千億的數據，建立了強大的預測模型。從2009年10月起，“谷歌流感趨勢”網站開始提供全球每周流感疫情預測，對于數據較完備國家的預測能精確到省份，并能顯示橫跨7年的歷史數據。

另一個有代表性的例子發生在能源計量領域。美國軟件公司Opower與多家電力公司合作，在幾百萬戶家庭安裝了智能電表，這些電表每隔15分鐘就讀一次用電數據。Opower公司據此每個月向每戶家庭提供一份個性化報告，把該家庭的電費與周圍鄰居進行對比，顯示該家庭的用電情況在全美類似家庭中所處的水平，以鼓勵節約用電，預計每年為美國消費用電節省5億美元。由此可見，大數據成為政府節能減排的千里眼、萬只手，并且做到了深入每戶家庭、量身定制解決方案，這在入戶抄電表的傳統工作方式下根本是無法想象的事情。

打開數據利用的想象空間

分析師馬特·艾斯萊特將大數據定位為“之前因為技術限制而被忽略的數據”。的確，盡管從數據中發現價值的實踐由來已久，但是在大數據時代，數據的價值才真正被發掘出來，人們用數據說話、用數據決策、用數據管理、用數據創新的意識才真正被喚醒。

至頂網副總編趙效民提出了一個非常有意思的觀點。他認為：“大數據的出現標志著人類在數據利用方面進入了一個新的階段，它代表了一種理念（數據能源）、一種思路（從數據搜集到數據分析再到數據呈現的整體構想）和一種新工具（將結構化與非結構化數據和語義與機器化數據匯聚、統一處理、分析與呈現的工具）的集合。它賦予了人類認知數據的新能力，也進一步打開了人類在數據利用方面的想象空間。”

趙效民進一步闡述，放眼地球上的各種能源，就會發現大數據與其有太多相似之處。物質成為能源的前提在于人類?它們的認知。在遠古時期，人類因雷電引火，發現了火和木材這兩種能源。隨著人類文明的進步，人類逐漸發現了越來越多的能源，比如煤、天然氣、石油和太陽能。它們已經在地球上靜靜地存在了成萬上億年，只是在人類掌握了相應的科技與工具之后，它們才得到利用。數據也是如此，如果數據存在一個生成/采集—應用/加工—保存/管理—分析/挖掘—再保存或刪除這樣的一個周期，那么從其生成的那一刻起，它就存在應有的價值，只是在于你是否有能力發現它們。這需要新的理念、知識、技術與相應的工具。原始人即使知道地下有石油，也無法開采，對所謂的數據分析，道理也是一樣的。

從人類發展的歷史來看，不斷發現新能源是一種公理似的注定。當我們掌握了越來越先進的理念基礎，并依此開發出越來越先進的工具，出現新的驚喜可以說理所當然。就像剛發明汽車時，誰也不會想到電、水會成為汽車可行的燃料。從這個角度講，當前的大數據所帶來的種種神奇只是人類在數據搜集、管理和分析等領域的一次進步而已，它有出現的必然，而非人類的一種頓悟。

新的數據技術既是數據大爆炸產生的基礎，也為應對數據大爆炸提供了解決方案。信息和通信技術的融合與發展，廉價的存儲、傳感器和數據采集技術的快速發展，通過云和虛擬化存儲設施增加的信息鏈路，以及創新軟件和分析工具，是驅動大數據發展的技術基礎。這些數據分析技術橫跨數據庫、統計學和機器學習等交叉學科。

從某種角度講，大數據其實就是人類能源開拓歷史在信息技術領域的一種再現與映射。大數據中談到的數據搜集、匯總、保存、管理、分析、呈現，與能源的勘探、開采、匯聚、保管、提煉、使用一一對應。在數據利用的愿景方面，大數據與原來的數據倉庫、數據挖掘、商業智能等概念是同出一轍、一脈相承的。它是人類信息技術水平發展到一定階段的必然結果。它賦予了人類對數據認知的新能力，也進一步打開了人類在數據利用方面的想象空間。

第三次工業革命的戰略資源

美國經濟學家杰里米·里夫金提出了第三次工業革命的概念。在他看來，通信技術和能源技術的基礎設施的變革是工業革命的主要推動力，并引發了經濟和社會的轉型。互聯網技術與可再生能源的結合正在孕育第三次工業革命的基礎設施—能源物聯網。而第三次工業革命的主要內容便是解決前一次工業革命沒有解決的問題。

在農業化浪潮中，一個木匠做家具可以是一把好手，但他在擴大再生產、創造社會化價值上是業余水平。在工業化浪潮中，生產者具有了大規模社會化地生產有用的東西的能力與環境，但是由于信息不對稱，生產者的生產和服務經常是盲目的。生產者缺乏信息，不知道消費者需要什么，經常費了很大勁生產出市場不需要的東西，也就是創造了一大堆有價值而無意義的東西，因而實現不了價值。故第三次工業革命的使命便是通過信息化與數據化實現價值的最大化，通過個人對個人的一對一關系發展起來，以數據為中介，在經濟上表現為多樣化、差異性、個性化體驗。

2012年4月21日，《經濟學人》專題討論了第三次工業革命，并強調3D（三維）打印是第三次工業革命的核心推動力。如同第一次工業革命實現了機器生產對手工作坊的替代，第二次工業革命實現了規模化生產一樣，以3D打印為代表的數字化制造將推進新軟件、新工藝、機器人和個性化網絡服務的普及，最終實現大規模定制化生產、分散式就近生產。

在第三次工業革命中，數據、計算將成為戰略資源，扮演重要角色，如果把計算看作能源，視作能像電能、太陽能一樣流通的資源，并以統一的價格收費，我們將來用三步計算、五步計算也就并不在乎計算從哪里來，就像我們不知道今天的5度電是來自大亞灣還是三峽。未來，大數據相關的技術和能力將成為一個國家至關重要的核心戰略資源。

為了提升中國在第三次工業革命中的發展速度，為進入下一個經濟周期做好準備，我們的每一個企業、科研團隊和政府，都有責任通過一些計劃，有目的地搜集、處理、分析、索引數據，IBM（國際商業機器公司）設立了“智慧地球”項目，現在，中國也有一些行業（如通信運營商、金融銀行企業單位、政府交通部門）在制訂類似的行業計劃，通過信息化改造實現海量數據的搜集和處理，這些數據在未來可能產生現在所想象不到的價值，也需要現在的企業家、政府部門做好準備。

總之，無論是以智能電網為基礎的能源物聯網，還是以3D打印為基礎的數字化制造，大數據都是以第三次工業革命的“新石油”這一重要戰略資源的形態存在。可以想象，未來云計算、物聯網和大數據將成為基礎設施，移動互聯網和3D打印技術將成為共性平臺，數據分析和機器人等人工智能控制將成為服務手段，那么數據、知識和價值的按需分配、多次挖掘將成為新經濟形態的不竭動力。