大數(shù)據(jù)變成大業(yè)務(wù)了,它不僅會(huì)在近十年大放異彩,而且還會(huì)象企業(yè)資源規(guī)劃、供應(yīng)鏈和客戶管理以及企業(yè)計(jì)算領(lǐng)域中的其他部分那樣成為企業(yè)的常規(guī)業(yè)務(wù)。
但是那有一個(gè)前提,即我們必須讓更多的人參與進(jìn)來,并且培養(yǎng)出一大批相關(guān)領(lǐng)域的數(shù)據(jù)科學(xué)家和專家。
IT市場調(diào)查公司Gartner正在佛羅里達(dá)奧蘭多市召開其Symposium/ITxpo大會(huì),與往年一樣,Gartner在今年的大會(huì)上也發(fā)布了一些預(yù)測。
Gartner首先給出了它對今年全球IT開支的最新預(yù)測,你可能不會(huì)購買太多此類股票的股票,而且IT廠商和你們公司的IT部門受到這類關(guān)乎整個(gè)IT開支的數(shù)據(jù)和預(yù)測的間接影響其實(shí)是很小的。當(dāng)企業(yè)的CEO和CFO聽到全球IT開支將下降的時(shí)候,你可能不會(huì)覺得有什么問題。
好消息是,Gartner預(yù)測全球IT開支將增長3.8%,達(dá)到3.7萬億美元。在其最新預(yù)測中,Gartner將今年的硬件、軟件和服務(wù)(包含電信設(shè)備和服務(wù))開支預(yù)期下降了3%,調(diào)至3.63萬億美元。
與前幾次的做法一樣,Gartner重新修正了2011年的開支數(shù)據(jù)并調(diào)整了2012年的預(yù)測數(shù)據(jù)。實(shí)際上,大多數(shù)經(jīng)理記住的只是變化率或百分比,而不是前后的數(shù)據(jù)一直在變化。
順便提一句,這些數(shù)據(jù)之所以在今年不斷被修正和變化,其中一個(gè)原因是美元的匯率一直在變動(dòng),而Gartner在作研究和預(yù)測時(shí),它將所有的外幣都轉(zhuǎn)換成了美元。
預(yù)計(jì)大數(shù)據(jù)市場的增長速度將明顯快于整個(gè)IT市場,大數(shù)據(jù)市場銷售額將在2012年增長21.4%,達(dá)到340億美元。Gartner在聲明中稱,今年的大數(shù)據(jù)總開支中,只有43億美元或12.6%的總開支將流向新軟件許可證,而大部分的開支仍將流向比較傳統(tǒng)的解決方案,以滿足客戶們對速度、多樣性和數(shù)據(jù)容量的需求。正是因?yàn)檫@些需求的關(guān)系,大數(shù)據(jù)才與數(shù)據(jù)倉儲和聯(lián)機(jī)事務(wù)處理(oltp)不同。
你也許會(huì)想,社交網(wǎng)和點(diǎn)擊流分析將占據(jù)今年的大數(shù)據(jù)開支的大頭,在340億美元的開支中占45%左右的份額。風(fēng)險(xiǎn)分析和其他財(cái)經(jīng)服務(wù)也開始越來越多地采用Hadoop和其他數(shù)據(jù)分析工具,同時(shí)從批工具向?qū)崟r(shí)工具轉(zhuǎn)移,就象幾十年前事務(wù)處理從批向聯(lián)機(jī)轉(zhuǎn)移一樣。
雖然大數(shù)據(jù)的發(fā)展前景似乎是非常明確的,但Gartner認(rèn)為我們大多數(shù)人認(rèn)為這項(xiàng)業(yè)務(wù)與云計(jì)算一樣是虛擬的。我們所說的大數(shù)據(jù)指的是利用現(xiàn)代工具 去快速完成一些工作量巨大的任務(wù),而常規(guī)的關(guān)系數(shù)據(jù)庫是做不到這一點(diǎn)的。就象云計(jì)算是分布式計(jì)算的新階段一樣,大數(shù)據(jù)也是另一種形式的計(jì)算。
大數(shù)據(jù)可以巧妙地利用你認(rèn)為沒有用的日志文件信息來窺探你的客戶,并且嘗試為他們提供更好的服務(wù)。它可以將你的運(yùn)營數(shù)據(jù)與其他數(shù)據(jù)關(guān)聯(lián)在一起,嘗試建立相關(guān)性。 這些工作如果讓人來做的話,那將是費(fèi)時(shí)費(fèi)力的大工程,而且還會(huì)因?yàn)槲覀兛赡軙?huì)將數(shù)據(jù)錯(cuò)誤地關(guān)聯(lián)在一起或沒有關(guān)閉環(huán)路而導(dǎo)致災(zāi)難性的后果。 不要說互聯(lián)網(wǎng)連續(xù)幾個(gè)月嘗試讓我給我的妻子買衣服,而實(shí)際上我已經(jīng)給她買過衣服了。我不但關(guān)注那些超級cookie,而且我還購買它們,只是你可能沒有注意到而已。
Gartner研究副總裁馬克拜耳(Mark Beyer)解釋說:“盡管現(xiàn)在對于大數(shù)據(jù)的宣傳已經(jīng)很多,但大數(shù)據(jù)并不是一個(gè)界限清楚、獨(dú)立的市場,它實(shí)際上代表著一種行業(yè)領(lǐng)域的市場力量,必須融入產(chǎn)品、實(shí)務(wù)和解決方案的交付之中。”
拜耳稱:“在2011年,大數(shù)據(jù)幾乎推動(dòng)了每一種IT分類項(xiàng)目的開支增長。然而,從現(xiàn)在起直到2018年,大數(shù)據(jù)的要求將逐漸演變成信息管理實(shí)務(wù)和技術(shù)的基本要求。 預(yù)計(jì)到2020年的時(shí)候,大數(shù)據(jù)的功能將成為傳統(tǒng)企業(yè)廠商和它們的部分產(chǎn)品的無差別、常規(guī)功能。”
因此Gartner認(rèn)為,大數(shù)據(jù)將在未來十年內(nèi)成為新的常規(guī)標(biāo)準(zhǔn),十年后我們應(yīng)該會(huì)在研究超大規(guī)模的系統(tǒng)了,如果一切進(jìn)展順利的話,屆時(shí)我們將見到 Exaflop級的計(jì)算、EB級的存儲、十兆瓦級的電力和巨額的成本。但是Gartner同時(shí)也指出,分析師們將提醒人們注意,現(xiàn)在我們非常缺乏對所有數(shù)據(jù)以及數(shù)據(jù)的使用方法都很了解的數(shù)據(jù)科學(xué)家。
Gartner的高級副總裁兼全球研究主管彼得桑德加德(Peter Sondergaard)在聲明中表示,從現(xiàn)在到2015年,IT行業(yè)將創(chuàng)造440萬就業(yè)機(jī)會(huì),其中有190萬個(gè)就業(yè)機(jī)會(huì)在美國。
每一個(gè)大數(shù)據(jù)任務(wù)都有倍增的效果,可以為下游供應(yīng)鏈創(chuàng)造好幾個(gè)就業(yè)機(jī)會(huì)。如果照這樣計(jì)算的話,美國的190萬個(gè)大數(shù)據(jù)就業(yè)機(jī)會(huì)將在IT部門之外再創(chuàng)新570萬個(gè)就業(yè)機(jī)會(huì)。 El Reg可能會(huì)說,由于現(xiàn)在的自動(dòng)化程度已經(jīng)非常高,因此IT部門的就業(yè)機(jī)會(huì)可能很難傳遞到營銷和銷售部門。
桑德加德稱:“但是這里還有一個(gè)問題,這個(gè)行業(yè)現(xiàn)在沒有足夠的人才。 我們的公共和私有教育系統(tǒng)都不能滿足我們在這方面的需求。因此,我估計(jì)只有三分之一的職位會(huì)被填滿。 數(shù)據(jù)專家將是一種稀有和寶貴的商品。”
我們再一次陷入尷尬的境地了。IT行業(yè)的很多人還是找工作,但他們顯然不具備大數(shù)據(jù)創(chuàng)造的那些就業(yè)機(jī)會(huì)所要求的技術(shù)才能。
從現(xiàn)在的情況來看,如果企業(yè)能夠少回購一些股票以及在其他方面少浪費(fèi)一些財(cái)力的話,而是去投資培養(yǎng)他們認(rèn)為他們以后會(huì)需要的大數(shù)據(jù)專業(yè)人才,這個(gè)問題才能得到解決。企業(yè)永遠(yuǎn)在哀嘆沒有優(yōu)質(zhì)的人才,真不知道它們是怎么堅(jiān)持下去的。
El Reg預(yù)計(jì):正如企業(yè)讓SAP和甲骨文通過各自的軟件接管了它們的業(yè)務(wù)的運(yùn)營工作一樣,大數(shù)據(jù)領(lǐng)域也會(huì)出現(xiàn)一些應(yīng)用和服務(wù)供應(yīng)商來解決企業(yè)在大數(shù)據(jù)方面的問題。
除非有絕對的必要,否則企業(yè)不會(huì)投資去培養(yǎng)大數(shù)據(jù)專業(yè)人才。而且只有財(cái)力最雄厚的大公司才能得到專業(yè)人才。正如你必須為一名優(yōu)秀的Java程序員或了解貴公司業(yè)務(wù)的數(shù)據(jù)庫管理員支付高薪一樣,你必須用高薪來挽留住了解貴公司業(yè)務(wù)以及那些對貴公司很有用的數(shù)據(jù)的大數(shù)據(jù)科學(xué)家。