大數據是一把雙刃劍,帶來巨大價值的同時,也帶來很多挑戰,為此,要學會趨利避害。
現如今,在大數據時代下,數據比以往任何時候都更加根植于我們生活中的每個角落。我們試圖用數據去解決問題、改善福利,并且促成新的經濟繁榮。伴隨著數據處理能力的提升、運算與儲存成本的井噴及越來越多的設備中嵌入各種傳感技術,數據的收集、儲存與分析正處于一個近乎無限上升的趨勢。
2011年,有人估算全世界的人們一年創造與復制的信息量超過了1.8澤字節,而到2013年,這個數字上升到了4澤字節。
每一天,全世界會上傳超過5億張圖片,每分鐘就有20小時時長的視頻被分享。然而,即使是人們每天創造的全部信息——包括語音通話、電子郵件和信息在內的各種通信,以及上傳的全部圖片、視頻與音樂,其信息量也無法匹及每一天所創造出的關于人們自身的數字信息量。
這樣的趨勢會持續下去。我們現在還處于所謂“物聯網”的最初級階段,而隨著技術成熟,我們的設備、交通工具和迅速發展的“可穿戴”科技將能互相連接與溝通。科技的進步已經使創造、捕捉和管理信息的成本降至2005年的六分之一,而從2005年起,用在硬件、軟件、人才及服務之上的商業投資也增長了整整50%,達到了4000億美元。
大數據的定義有很多,對于計算機科學家、金融分析師亦或是力圖爭取風險投資的企業家,這個定義都不盡相同。大多數的定義反映出了一種捕獲、總和與分析更大規模、更高速、更多樣的數據的技術能力。換句話說,“現在人們可以更快地獲取數據,數據涵蓋更廣闊的領域,衡量數據的數量級也是過去所達不到的。”更準確地說,大數據集就是“產生于設備、傳感器、網絡交易、電子郵件、視頻、點擊流等當今與未來各種可能的數碼資源,更大、更多樣、更復雜、更長縱深的分散性數據集。”
不論我們如何定義大數據這種科技現象,大數據分析所具有的無限潛力都對我們的法律、倫理及社會規范發起了挑戰,考驗我們能否在大數據的世界中保護隱私和其他價值觀。前所未有的運算能力帶給了我們不可思議的發現、創新,并推動著我們生活質量的進步。然而,大多數普通消費者卻難以看到這種力量,所以這也造成了掌握數據的人與有意無意間提供數據的人之間權力的不對等。所以,比“大數據是什么”更加重要的是,“大數據能做到什么“,以及個人與數據收集者之間的關系。
那么,大數據的精彩之處究竟是什么?下文將界定什么是大數據真正創新、真正不同的東西。要研究大數據,我們需關注那些數量之龐大、種類之繁多、傳輸速度之快使傳統數據捕捉分析方式無法勝任的數據,這樣的特征被約定俗稱為“三個V”(規模Volume,種類Varity,速度Velocity)。不斷降低的收集、儲存、處理數據成本,以及越來越多的新數據源如傳感器、相機、定位裝置等觀察性設備的出現,使得我們如今身處于一個數據采集無處不在的世界。數據的收集和處理量是前所未有的。可聯網設備、可穿戴科技和高級傳感器監測著從生命跡象到能量使用再到慢跑者步速的一切,這樣的數據爆炸對運算能力提出了更高的要求,也將會推動更復雜數據管理技術的發展。
數據不僅僅是更多了,它的來源也更加廣泛,形式也更加多元。一些數據是“數碼原生”的,就是說它本身就是由計算機或數據處理系統創造出來的數碼信息,比如電子郵件、網頁瀏覽和GPS位置數據。另一些數據是“虛擬原生“的,也就是說它來自實體世界,但被人為轉換成數碼形式,比如手機、相機和錄像機等拍攝的音視頻,或者可穿戴設備監測下的心率、排汗等物理活動數據。隨著數據融合能力的增強,越來越多本不相干的數據被綜合到一起,大數據將會帶給人們非同尋常的洞察力。
此外,數據收集與分析的速度正在逐漸趨于實時,這就意味著數據分析可以對人所處的環境產生即時的影響,甚至左右人們的選擇。高速數據的典型實例是記錄用戶與網頁交互活動的點擊流數據、移動設備上的GPS實時定位數據,及各種社交媒體上的用戶分享。客戶和公司都有更大的實時分析、實時受益的需求。當然了,一個手機地圖應用如果不能實時、準確地定位,顯然就失去了它的意義;車載系統的實時運算也是保障我們行車安全的關鍵。
如果應用得當,大數據分析能提高經濟效率、改進消費習慣、完善政府服務,甚至挽救人的生命。比如:
一、大數據與“物聯網”的發展具有融合工業經濟與信息經濟的潛力。如今,我們可以在飛機引擎和貨運汽車上裝備傳感器,監測各種數據,并在需要維修的時候發出自動警報。不僅可以降低維修成本,更能增強安全性。
二、醫療保險和醫療補助中心已經開始使用預測分析軟件標記潛在的醫保詐騙行為,防騙保系統幫助實時識別高危人群,已成功防止了涉及一億一千五百萬美元的詐騙性支取,在應用此技術的第一年,每1美元的投入就獲得了3美元的收益。
三、一項大數據研究匯總了來自新生兒重癥監護室的數百萬數據樣本,用以判斷哪些新生兒更容易接受致命的感染。通過分析這些數據,這套系統不用等值班醫生注意,就能辨認出諸多感染發生的早期征兆,例如體溫升高、心率加速等等。在傳統實踐中,有些早期征兆是經驗豐富的醫師也難以注意到的。
大數據技術還在其他很多領域擁有不可限量的前景,如按需管理電網、改善能源效率、增加發展中國國家農產量,防止傳染病傳播等等。
D1Net評論:
在大數據時代下,大數據帶來了新機遇,也帶來了新挑戰,大數據科技從龐大的數據集中獲取價值,賦予了研究者以往無法想象的洞察力。當然,大數據的技術力量如此廣泛與深遠,我們也需要關注它對社會倫理造成的挑戰。由此可以看出,科技本身非善非惡,但它也不是中立的。我們應該時刻記住,科技既可以為公眾謀福利,也可能對人造成傷害。關鍵就是,如何在機遇與挑戰間尋找到最佳的平衡,把握好這一點,就可以更好的將大數據價值應用到實處。