企業網D1Net 2012年3月23日 如今，計算機正噴涌出一系列涉及各個領域的龐大數據量，如同“滾滾的巖漿”在網絡的傳播下噴向世界各地。這些數據如蔓延在空中的“火山灰”，影響廣泛，是企業日常運營過程中不可或缺的財富，但也給企業帶來了一此問題和挑戰!
上個世紀80年代的軟盤存儲空間還相當有限，而現在存儲空間已擴大了成千上萬倍。據說，1981年，蓋茨在推出的IBM PC后曾斷言： “ 640KB應是已經足夠的了”。但蓋茨一直否認他曾有這樣的斷言，對此人們各持所見，并對早期微軟稱 “英特爾8088處理器原有的供電PC只能處理640千字節的隨機存取存儲器（RAM）”的存儲限制很小表示質疑。我相信斷言的真實度確實有待進一步證實，蓋茨作為計算機領域的佼佼者，應該明白計算機技術的更新周期之短與前景的無限性，妄下斷言，斬斷自己的發展退路，他還不至于會犯這樣低級的錯誤。
但蓋茨并沒預測到，三十年之內計算機處理數據的量會如泄洪般猛增，我們不得不用整一套新的倍數來形容它的爆炸 —— 從千兆兆字節到數TB到PB ， EB, zettabytes再到yottabytes（2^80或10^23） 。三十幾年之后，我在電腦上寫下這篇約有四個千兆字節（GB ）的文章，已大約是原來的PC工作記憶6000倍，計算機的存儲量可見一斑。
近年來，我們的數字生態系統的數據量爆炸性的增長，其范圍涉及各個領域。例如，在科研領域，現在已高達140萬億字節和計數，按此趨勢，到2016年時，若其繼續聯機，其龐大的數據量可想而之，再有就是大型強子對撞機（LHC）的噴出，僅在2010年，就有13 PB ——13米千兆字節 的 數據量，而在生活應用上，一些大的網上零售商，如沃爾瑪， Tesco和亞馬遜，每隔一小時就有數百萬計的交易，每天必然有相應龐大的數據存入數據庫。通過數據庫，他們如“掃雷”般在數據庫中獲取相關的數據以探知市場行情，消費行為和其他信息。同樣，大家平時常用的一些軟件，如百度，谷歌，Facebook和Twitter等一樣有相應的數據庫以存儲大量數據。
信息時代的今日，數據對企業而言就是新的黃金。數據如洪流般襲來，其發展速度極快，它的規模是可預見的。在非虛擬世界中，技術已經產生，廉價而輕巧的傳感器已遍及各個領域，它為信息的收集提供了更大的便利。而新的互聯網址協議和IPv6提供的地址空間已足夠大，它給每個人一個唯一的地址，這就意味著計算機可以“養活”按日，小時乃至分鐘的數據，其精確度甚至到可以探知到航空母艦上的某處斑點。
但當我們以最大的限度收集和存儲數據，并享受它帶來的便利時，我們也不得不考慮一個問題——我們的能力——處理數據的能力。數據本身并沒有告訴我們太多，為能轉換成有用或有意義的信息，我們必須能夠分析它，然而，事實卻證明，我們分析數據的工具，目前是相當不足的。目前常用的工具只限于如Matlab和Microsoft Excel，這是優秀的小數據集，但不能處理的大的數據量和一些科研的專業數據。
缺乏有效的數據處理工具帶來的不便是顯而易見的，如同有十億美元隱藏在漫無邊際的雜草堆中，但我們卻只能因缺乏相應的搜尋工具而望而止步。當然，在科技高速發展的今天，我們也看到了一些的解決問題的可能性。谷歌透露，它正開發一種處理工具，這種工具甚至可以通過數據預測流感疫情的傳播途徑。
同時，我們也需要認識到，大的數據 ，可能會打破獨立的科研機構和企業界對數據的挖掘與使用。當下，各企業在對數據的收集及處理的投資是巨大的，但大多數在數據密集型領域工作的高端人才仍然停留在寫著自己的分析軟件，計算其周期，對數據的處理問題仍然有待解決。
面對今天龐大的數據量，研究理事會和其他供資機構應在平抑這種特殊的演奏領域中加大投資IT基礎設施。畢竟，在大數據的國度，僅僅用Excel已經再也無法完全滿足其數據處理的需求了。
京公網安備 11010502049343號