如今,大數據分析市場與幾年前相比已經截然不同。而在未來十年,全球各行各業都將發生變革、創新和顛覆。
在日前發布的2017年度市場研究報告中,SiliconAngle Media公司的Wikibon分析團隊發現,2017年的全球大數據分析市場規模比前一年增長了24.5%。這比前一年的報告中預測的增長得更快,這主要是由于公共云的部署和利用好于人們的預期,以及云計算的平臺、工具和其他解決方案都在加速融合。此外,企業正在通過大數據分析更快速地脫離實驗和驗證階段,并從部署中獲得更高的業務價值。
展望未來,Wikibon團隊預測,2027年全球大數據分析市場的年增長率將以11%的速度增長,將達到1030億美元。通過在物聯網(IoT)、移動性和其他邊緣計算用例中采用大數據分析技術,大部分市場可以保持未來幾年的增長。
未來十年大數據分析發展的主要趨勢
正如Wikibon團隊的研究證實的那樣,未來十年將推動大數據分析行業發展的主要趨勢如下:
•公共云提供商正在擴大其影響力。大數據行業正圍繞全球三大主要公共云提供商亞馬遜網絡服務、微軟Azure和谷歌云平臺提供相應的產品和服務,而大多數軟件供應商也在構建解決方案。這些和其他大數據公共云提供商(包括像IBM和Oracle這樣已進入行業的大數據供應商)正在提供托管的IaaS和PaaS數據湖,鼓勵客戶和合作伙伴開發新的應用程序,并幫助客戶遷移遺留應用程序。其結果是,純粹的數據平臺和NoSQL供應商似乎發展比較平淡,日益被多元化的公共云提供商統治的大型數據領域所邊緣化。
•與私有云相比,公共云的優勢繼續擴大。公共云正在成為每個客戶細分領域首選的大數據分析平臺。這是因為公共云解決方案比內部部署堆棧更為成熟,增加了更豐富的功能,而且擁有成本日益增加。公共云正在開發其應用程序編程接口生態系統,并加快他們的管理工具的速度,超過了為內部部署而設計的大數據分析解決方案。
•混合云正在成為企業大數據的過渡站點,以便在公共云中實現更全面的部署。混合云是大多數大型企業的大數據計劃,但主要是作為一種過渡戰略。這是因為天平正在向企業傾斜,將更多的大數據資產放在公共云上。認識到這一趨勢,傳統大數據供應商正在針對混合使用案例優化其產品。出于同樣的原因,基于內部部署數據中心的大數據平臺正在重建架構,希望部署在公共云中。
•基于云計算的大數據孤島融合正在加快企業實現價值的速度。用戶開始加快將孤立的大數據資產整合到公共云中的速度。公共云提供商的主導地位正在瓦解困擾企業私有大數據架構的跨業務孤島。同樣重要的是,基于云計算和基于內部部署的大數據解決方案正融合到集成產品中,旨在降低復雜性,并加快實現價值的速度。更多解決方案提供商正在提供標準化的API,以簡化訪問,加速開發,并在整個大數據解決方案堆棧中實現更全面的管理。
•創新型大數據初創公司將越來越復雜的人工智能應用推向市場。創新的應用程序提供商開始通過基于人工智能的解決方案顛覆大數據的競爭格局。來自新的市場進入者的威脅在各個大數據領域都在加速增長,其中大部分創新都是為公共云或混合云部署而設計的。過去幾年來,許多新的數據庫、流處理和數據科學初創公司已經進入市場。
•顛覆性大數據方法正在成為已建立平臺的可行替代方案。不久之后,新一代的“獨角獸”大數據平臺提供商將推出融合了物聯網、區塊鏈和流計算的下一代方法。以上的這些新一代的大數據平臺將管理端到端的DevOps管道機器學習、深度學習和人工智能的優化。同時,大數據平臺正在為邊緣設備設計人工智能微服務。
•Hadoop正在成為大數據難題中的一部分。有跡象表明,人們將Hadoop視為一種傳統的大數據技術,而不是顛覆性業務應用程序的戰略平臺。盡管如此,Hadoop是一種成熟技術,廣泛用于許多用戶的IT組織中的關鍵用例(如非結構化信息提煉),并且在許多組織中仍然具有很長的使用壽命。考慮到這一長期前景,供應商通過在獨立開發的硬件和軟件組件之間實現更平滑的互操作性,不斷提高產品性能。
•用戶越來越多地在開放的生態系統中混合和匹配多供應商的大數據部署。一些大數據供應商正在提供包含專有、非標準或非開源組件的解決方案。客戶正在利用當今競爭激烈的市場,從大數據分析廠商處獲取持續的增強功能。反過來,供應商則將他們的工具解耦為模塊化架構,客戶可以在各種功能級別交換組件。對于希望通過完整的供應商鎖定在過去的市場中獲得可持續份額的供應商而言,這是最好的方法。
•數據庫正在通過創新方法進行解構和重組。從架構角度來看,人們以前熟悉的數據庫正在減少。人們正在采用流媒體、內存和無服務器大數據分析基礎架構。供應商正在探索重新構建核心數據庫功能以滿足新興需求的新方法,例如自動化機器學習管道和面向邊緣的認知物聯網分析。在這一演變過程中,隨著更多高性能事務分析功能集成到各種數據平臺中,分析和應用程序數據庫正在融合。此外,數據庫存儲引擎正在成為主要用于機器數據的存儲庫,可通過替代結構(例如鍵值索引和對象模式)進行尋址。
•數據科學工具鏈的端到端的DevOps管道越來越自動化。大數據增強的編程將繼續增長。開發人員可以使用越來越多的DevOps工具來自動化機器學習、深度學習和其他人工智能資產的開發、部署和管理中的各種任務。這些解決方案的范圍越來越廣泛,甚至利用專門的機器學習算法來推動超參數調整等機器學習開發功能的發展。
•打包的大數據分析應用程序正變得越來越普及。未來十年,更多用戶將以預構建、預培訓和模板化云服務的方式獲得大數據分析解決方案。更多的這些服務將自動調整其嵌入式機器學習、深度學習和人工智能模型,以持續提供最佳業務成果。更多的這些服務將納入預先訓練的模型,客戶可以調整和擴展到自己的特定需求。
大數據分析的演變和部署障礙
盡管大數據分析采用的預測看起來很樂觀,但仍存在許多持續性的問題,使用戶試圖最大限度地利用這些技術的投資價值受到挫折。其中最主要的是:
•過于復雜。大數據分析環境和應用程序仍然過于復雜。供應商需要繼續簡化這些環境的接口、體系結構、功能和工具。這樣做會將復雜的大數據分析功能應用于主流用戶和開發人員,其中許多人都是缺乏具備必要專業技能的內部IT人員。
•繁瑣的開銷。對于一些IT專業人員來說,大數據分析管理和治理流程仍然過于孤立,成本高昂且效率低下。供應商需要構建預先打包的工作流程,幫助大型專業人員團隊更有效、快速和準確地管理數據、元數據、分析和服務定義。
•加強管道的自動化處理。大數據分析應用程序開發和運營管道仍然過于耗時,并耗費人力。供應商需要加強其工具的自動化功能,以確保提高用戶技術人員的生產力,同時確保即使是技能較低的人員也能處理復雜的任務。
•自定義應用程序。大數據分析專業服務對于開發、部署和管理許多自定義應用程序仍然至關重要。這對于跨越混合云的數據驅動型應用程序,涉及不同的平臺和工具,以及納入難以理解的復雜數據流程尤其如此。供應商需要為常用的大數據分析應用程序加強預先打包的應用程序內容,同時為用戶提供自助服務的可視化工具,用于指定復雜的業務邏輯,而無需外部幫助。
對于企業IT團隊來說,Wikibon團隊的主要建議是開始將更多的大數據分析開發工作遷移到公共云環境中。這將加速企業利用AWS、微軟、谷歌、IBM和其他公共云提供商提供的快速成熟、成本低廉產品的能力。企業應該考慮構建自己的混合云,以確保在未來幾年內將其業務順利過渡到公共云。
版權聲明:本文為企業網D1Net編譯,轉載需注明出處為:企業網D1Net,如果不注明出處,企業網D1Net將保留追究其法律責任的權利。