如今,大數(shù)據(jù)的發(fā)展趨勢(shì)正在迅速轉(zhuǎn)變,但專家預(yù)計(jì)機(jī)器學(xué)習(xí)、預(yù)測(cè)分析、物聯(lián)網(wǎng)、邊緣計(jì)算將在未來(lái)幾年對(duì)大數(shù)據(jù)項(xiàng)目產(chǎn)生重大影響。
大數(shù)據(jù)已不再只是一個(gè)流行術(shù)語(yǔ)。調(diào)研機(jī)構(gòu)Forrester公司的研究人員發(fā)現(xiàn),在2016年,將近40%的企業(yè)正在實(shí)施和擴(kuò)展大數(shù)據(jù)技術(shù)的應(yīng)用,另外30%的企業(yè)計(jì)劃在未來(lái)一年內(nèi)采用大數(shù)據(jù)。同樣,來(lái)自NewVantage Partners的“2016年大數(shù)據(jù)執(zhí)行調(diào)查”發(fā)現(xiàn),62.5%的企業(yè)現(xiàn)在至少有一個(gè)大數(shù)據(jù)項(xiàng)目投入使用,只有5.4%的企業(yè)沒有計(jì)劃或沒有實(shí)施大數(shù)據(jù)項(xiàng)目。
研究人員表示,大數(shù)據(jù)技術(shù)的采用不會(huì)很快放緩。根據(jù)調(diào)研機(jī)構(gòu)IDC公司預(yù)測(cè),大數(shù)據(jù)和業(yè)務(wù)分析市場(chǎng)將從2018年的1301億美元增長(zhǎng)到2020年的2030多億美元。
“數(shù)據(jù)的可用性、新一代技術(shù)以及向數(shù)據(jù)驅(qū)動(dòng)型決策的文化轉(zhuǎn)型將繼續(xù)推動(dòng)企業(yè)對(duì)大數(shù)據(jù)和分析技術(shù)和服務(wù)的需求。”IDC公司分析和信息管理集團(tuán)副總裁Dan Vesset說(shuō),“2015年的全球大數(shù)據(jù)市場(chǎng)收入達(dá)到1220億美元,2016年的市場(chǎng)收入增長(zhǎng)11.3%,預(yù)計(jì)到2020年大數(shù)據(jù)市場(chǎng)收入的復(fù)合年均增長(zhǎng)率將達(dá)到11.7%。”
雖然大數(shù)據(jù)市場(chǎng)將會(huì)增長(zhǎng),但企業(yè)對(duì)如何使用他們的大數(shù)據(jù)卻不那么清楚。新的大數(shù)據(jù)技術(shù)正在進(jìn)入市場(chǎng),而一些老舊技術(shù)的使用也在不斷增長(zhǎng)。
大數(shù)據(jù)的發(fā)展趨勢(shì)
真正掌握大數(shù)據(jù)趨勢(shì)就像試圖監(jiān)控風(fēng)向的每日變化一樣,只要感覺到風(fēng)向,它就會(huì)改變。然而,以下趨勢(shì)明顯地推動(dòng)了大數(shù)據(jù)的發(fā)展。
1.大數(shù)據(jù)和開源
Apache Hadoop、Spark和其他開源應(yīng)用程序已經(jīng)成為大數(shù)據(jù)技術(shù)空間的主流,而且這種趨勢(shì)似乎可能會(huì)持續(xù)下去。一項(xiàng)調(diào)查發(fā)現(xiàn),近60%的企業(yè)預(yù)計(jì)到今年年底將采用Hadoop集群投入生產(chǎn)。根據(jù)調(diào)研機(jī)構(gòu)Forrester公司的報(bào)告,Hadoop的使用量每年增長(zhǎng)32.9%。
專家表示,到2017年,許多企業(yè)將擴(kuò)大對(duì)Hadoop和NoSQL技術(shù)的使用,并尋找加快大數(shù)據(jù)處理的途徑。許多人尋求能夠讓他們實(shí)時(shí)訪問(wèn)和響應(yīng)數(shù)據(jù)的技術(shù)。
Hadoop就是開源大數(shù)據(jù)項(xiàng)目的一個(gè)很好的例子。
2.內(nèi)存技術(shù)
內(nèi)存技術(shù)是企業(yè)正在研究加速大數(shù)據(jù)處理的技術(shù)之一。在傳統(tǒng)數(shù)據(jù)庫(kù)中,數(shù)據(jù)存儲(chǔ)在配備有硬盤驅(qū)動(dòng)器或固態(tài)驅(qū)動(dòng)器(SSD)的存儲(chǔ)系統(tǒng)中。而內(nèi)存技術(shù)可以將數(shù)據(jù)存儲(chǔ)在RAM中,并且存取速度要快很多倍。Forrester 公司的一份報(bào)告預(yù)測(cè),內(nèi)存數(shù)據(jù)結(jié)構(gòu)市場(chǎng)規(guī)模每年將增長(zhǎng)29.2%。
目前有幾家不同的供應(yīng)商提供內(nèi)存數(shù)據(jù)庫(kù)技術(shù),特別是SAP、IBM、Pivotal公司。
3.機(jī)器學(xué)習(xí)
隨著大數(shù)據(jù)分析能力的進(jìn)步,一些企業(yè)已經(jīng)開始投資機(jī)器學(xué)習(xí)(ML)。機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支,其重點(diǎn)在于允許計(jì)算機(jī)在沒有明確編程的情況下學(xué)習(xí)新事物。換句話說(shuō),它分析現(xiàn)有的大數(shù)據(jù)存儲(chǔ)庫(kù)來(lái)得出改變應(yīng)用程序行為的結(jié)論。
根據(jù)Gartner公司的研究,機(jī)器學(xué)習(xí)是2017年十大戰(zhàn)略技術(shù)趨勢(shì)之一。報(bào)告指出,當(dāng)今最先進(jìn)的機(jī)器學(xué)習(xí)和人工智能系統(tǒng)正在超越傳統(tǒng)的基于規(guī)則的算法,以創(chuàng)建理解、學(xué)習(xí)、預(yù)測(cè),以及潛在地自主操作系統(tǒng)。
機(jī)器學(xué)習(xí)在當(dāng)前的大數(shù)據(jù)技術(shù)中扮演著重要的角色
4.預(yù)測(cè)分析
預(yù)測(cè)分析與機(jī)器學(xué)習(xí)密切相關(guān)。實(shí)際上,機(jī)器學(xué)習(xí)系統(tǒng)經(jīng)常為預(yù)測(cè)分析軟件提供引擎。在大數(shù)據(jù)分析的早期,企業(yè)正在回顧他們的數(shù)據(jù),看看發(fā)生了什么,然后他們開始使用分析工具來(lái)調(diào)查為什么發(fā)生這些事情。而預(yù)測(cè)分析則更進(jìn)一步,可以使用大數(shù)據(jù)分析來(lái)預(yù)測(cè)未來(lái)會(huì)發(fā)生什么。
根據(jù)普華永道公司在2016年的研究調(diào)查,使用預(yù)測(cè)分析技術(shù)的企業(yè)數(shù)量很低,只有29%。然而,最近有很多供應(yīng)商提供了預(yù)測(cè)分析工具,因此隨著企業(yè)越來(lái)越多地了解這個(gè)強(qiáng)大工具,這個(gè)數(shù)字可能會(huì)在未來(lái)幾年飆升。
5.大數(shù)據(jù)智能應(yīng)用程序
企業(yè)使用機(jī)器學(xué)習(xí)和人工智能技術(shù)的另一種方式是創(chuàng)建智能應(yīng)用程序。這些應(yīng)用程序通常包含大數(shù)據(jù)分析,分析用戶以前的行為,以提供個(gè)性化和更好的服務(wù)。現(xiàn)在人們非常熟悉的一個(gè)例子是當(dāng)前推動(dòng)許多電子商務(wù)和娛樂(lè)應(yīng)用程序的推薦引擎。
在2017年排名前十的戰(zhàn)略技術(shù)趨勢(shì)中,名列Gartner公司的報(bào)告中第二位的技術(shù)是智能應(yīng)用程序。“在接下來(lái)的十年中,幾乎所有的應(yīng)用程序和服務(wù)都將包含一定程度的人工智能。”Gartner研究員副總裁David Cearley說(shuō),“這將形成一個(gè)長(zhǎng)期的趨勢(shì),將不斷發(fā)展和擴(kuò)大人工智能和機(jī)器學(xué)習(xí)應(yīng)用程序和服務(wù)的應(yīng)用。”
6.智能安全
許多企業(yè)也將大數(shù)據(jù)分析納入其安全戰(zhàn)略中。組織的安全日志數(shù)據(jù)提供了有關(guān)過(guò)去的網(wǎng)絡(luò)攻擊的寶貴信息,企業(yè)可以使用這些信息來(lái)預(yù)測(cè)、預(yù)防和減輕未來(lái)的攻擊。因此,一些組織正在將其安全信息和事件管理(SIEM)軟件與Hadoop等大數(shù)據(jù)平臺(tái)進(jìn)行整合。其他公司正在轉(zhuǎn)向采用安全廠商提供的服務(wù),其產(chǎn)品包含大數(shù)據(jù)分析功能。
7.物聯(lián)網(wǎng)
物聯(lián)網(wǎng)也可能對(duì)大數(shù)據(jù)產(chǎn)生相當(dāng)大的影響。根據(jù)IDC 公司2016年9月的一份調(diào)查報(bào)告,“接受調(diào)查的企業(yè)中有31.4%推出了物聯(lián)網(wǎng)解決方案,另外43%的企業(yè)希望在未來(lái)的一年內(nèi)進(jìn)行部署。”
隨著所有這些新設(shè)備和應(yīng)用程序的上線運(yùn)行,企業(yè)將會(huì)體驗(yàn)到比以往更快的數(shù)據(jù)增長(zhǎng)。許多企業(yè)需要新的技術(shù)和系統(tǒng),以便能夠處理和理解來(lái)自物聯(lián)網(wǎng)部署的大量數(shù)據(jù)。
物聯(lián)網(wǎng)收集的數(shù)據(jù)洪流將會(huì)增加對(duì)大數(shù)據(jù)應(yīng)用的需求
8.邊緣計(jì)算
一種可以幫助企業(yè)處理物聯(lián)網(wǎng)大數(shù)據(jù)的新技術(shù)是邊緣計(jì)算。在邊緣計(jì)算中,大數(shù)據(jù)分析與物聯(lián)網(wǎng)設(shè)備和傳感器非常接近,而不是在數(shù)據(jù)中心或云端。對(duì)于企業(yè)來(lái)說(shuō),這提供了一些重要的好處。他們的網(wǎng)絡(luò)數(shù)據(jù)流量較少,可以提高性能,并節(jié)省云計(jì)算成本。它允許組織刪除只在有限的時(shí)間內(nèi)具有價(jià)值的物聯(lián)網(wǎng)數(shù)據(jù),減少存儲(chǔ)和基礎(chǔ)設(shè)施成本。邊緣計(jì)算還可以加快分析過(guò)程,使決策者能夠比以前更快地采取行動(dòng)。
9.高薪
對(duì)于IT員工來(lái)說(shuō),大數(shù)據(jù)分析的增長(zhǎng)可能意味著對(duì)擁有大數(shù)據(jù)技能的人員的高需求和高薪酬。根據(jù)IDC公司的調(diào)查,僅在美國(guó),2018年就會(huì)有181,000個(gè)深層次的分析職位,而在許多需要相關(guān)數(shù)據(jù)管理和解釋技能的職位中,這個(gè)數(shù)字將是其五倍。
由于這種稀缺性,Robert Half 技術(shù)公司調(diào)查表明,數(shù)據(jù)科學(xué)家的平均薪酬在2017年提高了6.5%,其年薪為116,000美元到163,500美元。同樣,大數(shù)據(jù)工程師也將增加5.8%的薪酬,其年薪為135,000美元到196,000美元。
10.自助服務(wù)
隨著聘請(qǐng)行業(yè)專家的成本不斷上升,許多組織可能正在尋找工具,讓普通工作人員能夠滿足他們自己的大數(shù)據(jù)分析需求。IDC公司此前曾預(yù)測(cè),可視化數(shù)據(jù)發(fā)現(xiàn)工具的增長(zhǎng)速度將比商業(yè)智能(BI)市場(chǎng)的增長(zhǎng)速度快2.5倍,到2018年,對(duì)推動(dòng)終端用戶自助服務(wù)的投資將成為所有企業(yè)的需求。
一些供應(yīng)商已經(jīng)推出了具有“自助服務(wù)”功能的大數(shù)據(jù)分析工具,專家預(yù)計(jì)這一趨勢(shì)將持續(xù)到2018年及以后。隨著大數(shù)據(jù)分析越來(lái)越融入到企業(yè)各個(gè)部門的人員工作中,IT部門可能會(huì)越來(lái)越少地參與到這個(gè)過(guò)程中。
版權(quán)聲明:本文為企業(yè)網(wǎng)D1Net編譯,轉(zhuǎn)載需注明出處為:企業(yè)網(wǎng)D1Net,如果不注明出處,企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。