大數(shù)據(jù)已經(jīng)成為了計算機行業(yè)爭相傳誦的熱門概念,也引起了金融界的高度關注。隨著互聯(lián)網(wǎng)技術的不斷發(fā)展,數(shù)據(jù)本身是資產(chǎn),這一點在業(yè)界已經(jīng)形成共識。如果說云計算為數(shù)據(jù)資產(chǎn)提供了保管、訪問的場所和渠道,那么如何盤活數(shù)據(jù)資產(chǎn),使其為國家治理、企業(yè)決策乃至個人生活服務,則是大數(shù)據(jù)的核心議題,也是云計算內(nèi)在的靈魂和必然的升級方向。
據(jù)市場研究公司IDC統(tǒng)計,未來10年里預計數(shù)字信息總量將在2009年到2020年期間增長44倍,全球數(shù)據(jù)使用量將達到大約35.2ZB(1ZB=10億TB)。與此同時,單個數(shù)據(jù)集的文件尺寸也將增加,導致對更大處理能力的需求以便分析和理解這些數(shù)據(jù)集。一項由UnisphereResearch對531名獨立Oracle用戶進行的調(diào)查發(fā)現(xiàn),百分之九十的企業(yè)的數(shù)據(jù)量在迅速上漲,其中16%的企業(yè)每年的增長率達到50%或更高。不少企業(yè)已經(jīng)感受到失控數(shù)據(jù)增長對績效造成的沖擊,其中發(fā)現(xiàn)87%的受訪者將企業(yè)的應用程序性能問題歸咎于不斷增長的數(shù)據(jù)量。
有專家認為,大數(shù)據(jù)的推動因素主要是來自一些特大型公司,如谷歌、Youtube等。這些公司需要以非常優(yōu)化的方式分析數(shù)據(jù)和讓計算與存儲配合工作。另外,一些來自健康醫(yī)療、地理空間影像和數(shù)字媒體等行業(yè)的各種大數(shù)據(jù),很顯然,這些數(shù)據(jù)到不一定有多大,但是處理這些數(shù)據(jù)集通常要分配到幾個系統(tǒng)耗費超過24個小時的時間才能完成。
第2頁:IT巨頭紛紛涉足大數(shù)據(jù)
事實上全球互聯(lián)網(wǎng)巨頭(EMC、惠普、IBM、微軟)都已經(jīng)意識到“大數(shù)據(jù)”時代的到來,數(shù)據(jù)的重要意義,這些IT巨頭們都紛紛通過收購“大數(shù)據(jù)”的相關廠商來進行技術的整合,可見對“大數(shù)據(jù)”的重視程度。
EMC公司全球高級副總裁、大中華區(qū)總裁葉成輝在接受記者采訪時表示:大數(shù)據(jù)目前沒有統(tǒng)一的定義。通常認為,它是海量的非結構化數(shù)據(jù),其特點是數(shù)據(jù)量很大,數(shù)據(jù)的形式多樣化。
大數(shù)據(jù)時代即將來臨(圖片來源于網(wǎng)絡)
ESG中國區(qū)總經(jīng)理兼高級分析師王叢表示,大數(shù)據(jù)這一領域將會有一些新技術推出,在未來1-2年內(nèi),預計會不斷涌現(xiàn)能處理大型非結構化數(shù)據(jù)的技術。王叢認為,目前北美廠商仍走在全球的前列,而中國國內(nèi)的廠商目前仍主要在考慮怎么樣生產(chǎn)存儲和硬件設備,而沒有考慮到全面的解決方案。EMC、IBM收購這些公司的目的是整合整個解決方案,讓它在IT上是透明的,進一步靠近存儲、靠近數(shù)據(jù)。
對于大企業(yè)而言,大數(shù)據(jù)的興起部分是因為計算能力可用更低的成本獲得,且各類系統(tǒng)如今已能夠執(zhí)行多任務處理。其次,內(nèi)存的成本也在直線下降,企業(yè)可以在內(nèi)存中處理比以往更多的數(shù)據(jù)。還有就是把計算機聚合成服務器集群越來越簡單。IDC的數(shù)據(jù)庫管理分析師CarlOlofson認為,這三大因素的結合便催生了大數(shù)據(jù)。
Gartner曾經(jīng)有報告指出,有85%的數(shù)據(jù)屬于廣泛存在于社交網(wǎng)絡、物聯(lián)網(wǎng)、電子商務等之中的非結構化數(shù)據(jù)。這些非結構化數(shù)據(jù)的產(chǎn)生往往伴隨著社交網(wǎng)絡、移動計算和傳感器等新的渠道和技術的不斷涌現(xiàn)和應用。