近年來,云計算的概念充斥著IT行業的角角落落。雖然很多人對云計算究竟是怎么樣的一回事還處于一知半解的地步,大數據(Big Data)概念又異軍突起,成為IT人士關注下一個核心,甚至美國已經有主流媒體表示2012年為大數據之年。
那么,究竟什么是大數據呢?大數據能夠給我們的生活帶來什么樣的變化呢?目前IT巨頭們都在大數據方面有哪些動作呢?下面,筆者將和大家一起來探討這些問題。
大數據的誕生及定義
雖然大數據“忽如一夜春風來”紅遍全球,但是從嚴格意義上來說,早在20世紀90年代“數據倉庫之父”的Bill Inmon便提出了“大數據”的概念。而大數據之所以在最近走紅,主要歸結于互聯網、移動設備、物聯網和云計算等快速崛起,全球數據量大大提升。從人類文明出現到2003年,人類總共才產生了5EB(ExaBytes)的數據,但是當前的人類兩天內就創造出了相同的數據量,全球 90% 的數據都是在過去兩年中生成的,到2020年全球數據使用量將大概需要376億個1TB的硬盤進行存儲。
當然,大數據并不等同于目前的海量數據。目前全球均比較認可IDC對“大數據”的定義:為了更經濟地從高頻率獲取的、大容量的、不同結構和類型的數據中獲取價值,而設計的新一代架構和技術。此定義也可以概括為四個特點,即高容量(volume)、多樣性(variety),速度(velocity),以及價值(value)四個V,包括基礎架構、數據管理、分析挖掘和決策支持四個層面。當然,也有其他不同的觀點,IBM對于大數據的定義便是規模性(Volume)、多樣性(Variety)、高速性(Velocity)和真實性(Veracity)的“4V理論”,NetApp 大中華區總經理陳文所理解的大數據包括A、B、C三個要素:大分析(Analytic),高帶寬(Bandwidth)和大內容(Content)。
各大IT巨頭針對大數據的動作
根據IDC數據顯示,全球大數據的市場規模將從2010年的32億美元增長到2015年的169億美元,平均年成長率近40%。雖然目前還沒有云計算市場龐大,但是如此快速發展的市場也吸引了IBM、微軟、惠普、英特爾、EMC等諸多IT巨頭紛紛加大對大數據廠商的收購投入,以便進行技術整合。
從上表中,我們可以看到EMC、IBM、SAP、甲骨文、惠普、微軟等都收購了大量的數據軟件提供商,對下一步各自開發基于大數據需求的IT架構做好了準備。但是對于硬件提供商來說,大數據的應用都意味著更多的IT采購,所以也在進行積極的推動。
以IBM為例,大數據、智慧地球和云計算是其2012年重點關注的三個領域,甚至為此三個領域制定了“到2015年軟件業務為IBM貢獻50%利潤”的目標。前不久IBM剛剛宣布全球首個大數據智慧賦能中心(Big Data Center of Competency)在北京正式成立。在2011年10月份,IBM 宣布推出全新的面向不同工作場景的大數據管理和分析軟件及解決方案,可覆蓋從移動設備、數據中心,到IBM SmartCloud 云計算平臺等多個平臺。
另外,SAP 的大數據技術HANA(據介紹,HANA技術能夠每秒運行77萬條記錄,批量插入1GB的數據,每小時達到2.5TB數據的服務,每小時2.5TB可以插入到SAP HANA上),甲骨文的大數據機(集成了硬件、存儲和軟件,包括Apache Hadoop軟件的開源代碼分發、新的甲骨文NoSQL數據庫和用于統計分析的R語言開源代碼分發)等對于整個大數據行業來說也有著深刻意義。