今天，數(shù)據(jù)比以往任何時候都更加根植于我們生活中的每個角落。我們試圖用數(shù)據(jù)去解決問題、改善福利，并且促成新的經(jīng)濟繁榮。伴隨著數(shù)據(jù)處理能力的提升、運算與儲存成本的井噴及越來越多的設備中嵌入各種傳感技術，數(shù)據(jù)的收集、儲存與分析正處于一個近乎無限上升的趨勢。2011年，有人估算全世界的人們一年創(chuàng)造與復制的信息量超過了1.8澤字節(jié)，而到2013年，這個數(shù)字上升到了4澤字節(jié)。
每一天，全世界會上傳超過5億張圖片，每分鐘就有20小時時長的視頻被分享。然而，即使是人們每天創(chuàng)造的全部信息——包括語音通話、電子郵件和信息在內(nèi)的各種通信，以及上傳的全部圖片、視頻與音樂，其信息量也無法匹及每一天所創(chuàng)造出的關于人們自身的數(shù)字信息量。
這樣的趨勢會持續(xù)下去。我們現(xiàn)在還處于所謂“物聯(lián)網(wǎng)”的最初級階段，而隨著技術成熟，我們的設備、交通工具和迅速發(fā)展的“可穿戴”科技將能互相連接與溝通。科技的進步已經(jīng)使創(chuàng)造、捕捉和管理信息的成本降至2005年的六分之一，而從2005年起，用在硬件、軟件、人才及服務之上的商業(yè)投資也增長了整整50%，達到了4000億美元。
大數(shù)據(jù)的定義有很多，對于計算機科學家、金融分析師亦或是力圖爭取風險投資的企業(yè)家，這個定義都不盡相同。大多數(shù)的定義反映出了一種捕獲、總和與分析更大規(guī)模、更高速、更多樣的數(shù)據(jù)的技術能力。換句話說，“現(xiàn)在人們可以更快地獲取數(shù)據(jù)，數(shù)據(jù)涵蓋更廣闊的領域，衡量數(shù)據(jù)的數(shù)量級也是過去所達不到的。”更準確地說，大數(shù)據(jù)集就是“產(chǎn)生于設備、傳感器、網(wǎng)絡交易、電子郵件、視頻、點擊流等當今與未來各種可能的數(shù)碼資源，更大、更多樣、更復雜、更長縱深的分散性數(shù)據(jù)集。”
不論我們?nèi)绾味x大數(shù)據(jù)這種科技現(xiàn)象，大數(shù)據(jù)分析所具有的無限潛力都對我們的法律、倫理及社會規(guī)范發(fā)起了挑戰(zhàn)，考驗我們能否在大數(shù)據(jù)的世界中保護隱私和其他價值觀。前所未有的運算能力帶給了我們不可思議的發(fā)現(xiàn)、創(chuàng)新，并推動著我們生活質量的進步。然而，大多數(shù)普通消費者卻難以看到這種力量，所以這也造成了掌握數(shù)據(jù)的人與有意無意間提供數(shù)據(jù)的人之間權力的不對等。所以，比“大數(shù)據(jù)是什么”更加重要的是，“大數(shù)據(jù)能做到什么“，以及個人與數(shù)據(jù)收集者之間的關系。
那么，大數(shù)據(jù)的精彩之處究竟是什么？下文將界定什么是大數(shù)據(jù)真正創(chuàng)新、真正不同的東西。要研究大數(shù)據(jù)，我們需關注那些數(shù)量之龐大、種類之繁多、傳輸速度之快使傳統(tǒng)數(shù)據(jù)捕捉分析方式無法勝任的數(shù)據(jù)，這樣的特征被約定俗稱為“三個V”（規(guī)模Volume，種類Varity，速度Velocity）。不斷降低的收集、儲存、處理數(shù)據(jù)成本，以及越來越多的新數(shù)據(jù)源如傳感器、相機、定位裝置等觀察性設備的出現(xiàn)，使得我們?nèi)缃裆硖幱谝粋€數(shù)據(jù)采集無處不在的世界。數(shù)據(jù)的收集和處理量是前所未有的?？陕?lián)網(wǎng)設備、可穿戴科技和高級傳感器監(jiān)測著從生命跡象到能量使用再到慢跑者步速的一切，這樣的數(shù)據(jù)爆炸對運算能力提出了更高的要求，也將會推動更復雜數(shù)據(jù)管理技術的發(fā)展。
數(shù)據(jù)不僅僅是更多了，它的來源也更加廣泛，形式也更加多元。一些數(shù)據(jù)是“數(shù)碼原生”的，就是說它本身就是由計算機或數(shù)據(jù)處理系統(tǒng)創(chuàng)造出來的數(shù)碼信息，比如電子郵件、網(wǎng)頁瀏覽和GPS位置數(shù)據(jù)。另一些數(shù)據(jù)是“虛擬原生“的，也就是說它來自實體世界，但被人為轉換成數(shù)碼形式，比如手機、相機和錄像機等拍攝的音視頻，或者可穿戴設備監(jiān)測下的心率、排汗等物理活動數(shù)據(jù)。隨著數(shù)據(jù)融合能力的增強，越來越多本不相干的數(shù)據(jù)被綜合到一起，大數(shù)據(jù)將會帶給人們非同尋常的洞察力。
此外，數(shù)據(jù)收集與分析的速度正在逐漸趨于實時，這就意味著數(shù)據(jù)分析可以對人所處的環(huán)境產(chǎn)生即時的影響，甚至左右人們的選擇。高速數(shù)據(jù)的典型實例是記錄用戶與網(wǎng)頁交互活動的點擊流數(shù)據(jù)、移動設備上的GPS實時定位數(shù)據(jù)，及各種社交媒體上的用戶分享?？蛻艉凸径加懈蟮膶崟r分析、實時受益的需求。當然了，一個手機地圖應用如果不能實時、準確地定位，顯然就失去了它的意義；車載系統(tǒng)的實時運算也是保障我們行車安全的關鍵。
如果應用得當，大數(shù)據(jù)分析能提高經(jīng)濟效率、改進消費習慣、完善政府服務，甚至挽救人的生命。比如：
一、大數(shù)據(jù)與“物聯(lián)網(wǎng)”的發(fā)展具有融合工業(yè)經(jīng)濟與信息經(jīng)濟的潛力。如今，我們可以在飛機引擎和貨運汽車上裝備傳感器，監(jiān)測各種數(shù)據(jù)，并在需要維修的時候發(fā)出自動警報。不僅可以降低維修成本，更能增強安全性。
二、醫(yī)療保險和醫(yī)療補助中心已經(jīng)開始使用預測分析軟件標記潛在的醫(yī)保詐騙行為，防騙保系統(tǒng)幫助實時識別高危人群，已成功防止了涉及一億一千五百萬美元的詐騙性支取，在應用此技術的第一年，每1美元的投入就獲得了3美元的收益。
三、一項大數(shù)據(jù)研究匯總了來自新生兒重癥監(jiān)護室的數(shù)百萬數(shù)據(jù)樣本，用以判斷哪些新生兒更容易接受致命的感染。通過分析這些數(shù)據(jù)，這套系統(tǒng)不用等值班醫(yī)生注意，就能辨認出諸多感染發(fā)生的早期征兆，例如體溫升高、心率加速等等。在傳統(tǒng)實踐中，有些早期征兆是經(jīng)驗豐富的醫(yī)師也難以注意到的。
大數(shù)據(jù)技術還在其他很多領域擁有不可限量的前景，如按需管理電網(wǎng)、改善能源效率、增加發(fā)展中國國家農(nóng)產(chǎn)量，防止傳染病傳播等等。
新機遇也帶來了新挑戰(zhàn)。大數(shù)據(jù)科技從龐大的數(shù)據(jù)集中獲取價值，賦予了研究者以往無法想象的洞察力。當然，大數(shù)據(jù)的技術力量如此廣泛與深遠，我們也需要關注它對社會倫理造成的挑戰(zhàn)。歷史學家克朗茲伯格（Melvin Kranzberg）在他的《科技第一法則》中寫道：“科技本身非善非惡，但它也不是中立的。”我們應該時刻記住，科技既可以為公眾謀福利，也可能對人造成傷害。關鍵就是，如何在機遇與挑戰(zhàn)間尋找到最佳的平衡。
京公網(wǎng)安備 11010502049343號