2018年有很多明顯的跡象表明，這十年中快速崛起的大數據市場，正在以不同的形式沉淀下來。未來幾年，大數據分析市場甚至可能不會被稱為“大數據”，因為很多大數據分析取得的進展都是針對人工智能的，盡管其核心是數據驅動的，但實際上并不一定要依賴于大量的數據才能在應用中發揮作用。

 

展望2019年，分析公司Wikibon預測大數據分析將會出現以下一些趨勢：

 

· 公有云提供商正在吸收大多數大數據分析增長的新機會

 

· 企業正在將越來越多的大數據分析工作負載轉移到公有云，并在這些環境中開發更多的綠地應用。

 

· 2019年，三大公有云提供商AWS、微軟Azure和Google Cloud將加大力度，幫助企業將數據從本地平臺遷移出來。

 

其他公有云提供商將難以保持自己在大數據分析市場的份額。2018年，來自公有云領導廠商的壓力迫使IBM收購了RedHat。展望未來，IBM、Oracle和其他公有云提供商將更加強調混合云解決方案，幫助客戶集中管理分布在私有云和公有云之間的大數據資產。

 

此外，越來越多的大數據公有云提供商將基礎設施及服務和平臺即服務細分市場拱手讓給AWS、微軟和Google，并將轉向為業務線和特定行業提供軟件服務分析應用。例如，Snowflake Computing就在云數據倉庫市場大獲成功，2018年得到了4.5億美元的資金以保持增長勢頭。

 

 

開源軟件Kubernetes是一種針對管理需要在云和本地數據中心之間輕松遷移的應用的軟件容器，是新一代云原生大數據的基礎。過去一年中，這個市場最引人注目的趨勢就是圍繞Kubernetes的數據生態系統“再結晶”。

 

云原生大數據架構的發展，推動了2018年大量資金和并購活動的活躍。這就解釋了為什么專注于多云分布式內存數據的Pivotal在其首次公開募股中就獲得了5.55億美元的資金;Talend收購Stitch，是因為市場需要一種更簡單的工具來加載數據到云數據倉庫;Cloudian收購Infinity Storage的一個重要原因，是企業對基于云的可擴展文件存儲和對象存儲的要求越來越高。

 

Wikibon預測，2019年Open Hybrid Architecture Initiative將開始實施HDFS、MapReduce、HBase、Hive、Pig、YARN和其他Hadoop主要組件的模塊化和容器化計劃。此外，主要贊助方——即將成為Cloudera 和IBM/Red Hat一部分的Hortonworks公司——將在2019年初提供下一代商用Hadoop解決方案，將這一架構融入他們各自的混合云解決方案組合中，其他云解決方案提供商也會緊隨其后。

 

2019年，Spark、TensorFlow、流媒體、分布式對象存儲和塊存儲細分領域中類似的容器化項目也將開始實施，因為整個大數據堆棧將在基于Kubernetes的DevOps環境中通過解耦來實現更靈活的部署和管理。

 

 

大數據分析解決方案提供商正在爭相贏得新一代AI項目開發人員的心。過去幾年中，市場中涌現了眾多新一代數據科學工作臺，包括Anaconda、Dataiku、DataKitchen、DataRobot、Dimensional Mechanics、Domino Data Lab、H2O.ai、Hydrosphere.io、Kogentix、Pipeline.ai和Seldon。此外，老牌大數據分析廠商如IBM、Oracle、Cloudera和Alteryx等，都已經進入這一領域，三大公有云廠商亦是如此。

 

2018年，DataRobot、Tamr和Immuta紛紛得到風投資金，說明這幾家初創公司在過去幾年中已經扎根于數據科學工作臺領域，并且也將觸手伸到了中國和遠東。

 

2019年，將會越來越多的企業強調他們能夠自動執行諸如特征工程、超參數優化和數據標記等傳統手動任務。大數據分析解決方案提供商將大力投資工具以加快將經過訓練的AI模型部署到生產應用中的進程。隨著大數據分析生態系統開始向云原生架構轉變，越來越多的數據科學工作臺將整合Kubernetes業務流程結構自動化任務的能力，并將容器模型集成到公有云和私有云中，這一趨勢將把新興標準(如Kubeflow)帶入蓬勃發展的數據科學DevOps工具鏈生態系統中來。

 

 

Hadoop在大數據分析領域發揮的作用正在逐漸消失。Hadoop市場的增長前景趨于平緩，這也成為Cloudera和Hortonworks在2018年合并的主要原因。

 

Hadoop的核心用例正在逐漸縮小到面向非結構化數據的分布式文件系統、用于批量數據轉換的平臺、大數據治理存儲庫和可查詢的大數據存檔。

 

2019年，Hadoop將試圖把應用范圍擴展到在線分析處理、商業智能、數據倉庫以及其他開源項目覆蓋的領域。今年年底，很多企業大數據環境將開始逐步淘汰Hadoop，即使Hadoop重點瞄準的數據湖，也更傾向于采用分布式對象存儲、流計算平臺和大規模可擴展的內存集群。

 

即使作為Hadoop替代品問世的Apache Spark，在許多以TensorFlow為中心的AI環境中也開始變成一項遺留技術。這一趨勢通過數據提取/轉換/加載進入到Spark的部署領域就可以看到，而且隨著Schema on Read架構(將數據的處理推遲到從數據庫讀出后)的出現，這種趨勢可能會有所放緩。

 

 

用戶能否快速搜索、發現、組織和管理數據資產，已經成為數字業務能否取得成功的基礎。在這方面，Looker Data Science在E輪融資中獲得了1億美元，以滿足大數據編目、治理、準備和可視化解決方案的市場需求。

 

2019年，Wikibon預測會看到越來越多的企業將數據湖重新用于應用基礎架構的大數據目錄中，從而提高知識工作者的工作效率，支持正在構建訓練生產AI應用的新一代開發人員，并促進算法透明度和電子發現。

 

Wikibon還預計IBM、Cloudera/Hortonworks、Informatica、Collibra等廠商將強化他們現有大數據目錄平臺在管理更多元數據、模型、圖像、容器和其他組件(這些組件都是AI DevOps工作流的生命線)的能力流程。企業將越來越多地跨多云環境部署大數據目錄，利用新一代虛擬化工具，提供單一控制平面來管理公有云和私有云中的不同數據資產。Wikibon預測，AWS、微軟和谷歌將推出自己的大數據目錄，面向那些選擇在公有云/私有云混合環境中部署這些服務的客戶。

 

 

2018年，AWS S3和微軟Azure Data Lake Storage等云對象存儲平臺將繼續取代企業數據湖中的Hadoop。Wikibon還看到，風險投資方會優先為那些知名的多云數據訪問、查詢和可視化解決方案提供商提供資金(例如Dremio，在B輪融資中獲得2500萬美元);以及軟件定義的多云存儲(例如Scality，在B輪融資中獲得6000萬美元)，和云對象存儲(例如Cloudian，在E輪融資中獲得9400萬美元)。

 

展望未來，這一趨勢將持續下去，但是未來三到五年流計算將讓這一趨勢黯然失色。Kafka、Flink和Spark Structured Streaming等低延遲流媒體平臺正在成為企業數據基礎設施的基礎，正如20世紀70年代以來的關系數據架構。

 

 

人工智能正在從內部和外部全面重塑商業智能市場。在過去幾年中，商業智能的一個核心趨勢是新一代融入了AI的預測分析、搜索、預測工具覆蓋了該技術傳統的重點——歷史分析，這些工具可以讓企業用戶做很多以前需要經過培訓的數據科學家才能做的事情。

 

2019年，越來越多的商業智能廠商將深度集成AI，自動從復雜數據中提取預測見解，同時在解決方案中提供豐富的功能，提供便捷的自助服務和最佳行動的指導，這一點從今年初創公司ThoughtSpot在D輪融資中獲得1.45億美元就可以看出，這筆資金將被用于ThoughtSpot創新的AI增強型業務分析解決方案組合。

 

說到AI在大數據分析市場幾乎所有方面都發揮著越來越重要的作用，讓我們來看看2018年的這些融資事件吧：

 

?AI初創公司從風投那里得到了驚人的資金——預計僅美國AI初創公司就得到了1000億美元資金，其中大部分資金都投給了創新的AI硬件加速提供商。

 

去年規模最大的種子輪融資中很多都是發展有一段時間的人工智能解決方案提供商，包括AI自動化工作臺初創公司DataRobot，在D輪融資中獲得1億美元;自動數據準備公司Tamr，在D輪融資中獲得1800萬美元;AI DevOps數據隱私控制公司Immuta，在B輪融資中獲得2000萬美元。

 

· 企業對于利用強大的人工智能搜索技術篩選越來越多的日志數據有著永遠無法滿足的需求，這也解釋了為什么Elasticsearch B.V.能夠在IPO上市的時候籌集2.52億美元資金。

 

· AI和業務分析行業正在持續向自助數據準備轉變，這一點解釋了Infogix為什么要收購LavaStorm Analytics。

 

· 構建自主AI驅動系統的強化學習工具新興市場，是激勵微軟收購Bonsai AI的一個重要因素。

 

· 越來越多的企業選擇部署分布式內存云數據庫以支持復雜的實時AI管道，這一點促使MariaDB Corp. Ab收購了Clustrix。

 

大數據分析的另一個主導趨勢是內存架構，這就解釋了為什么2018年MemSQL以內存交易分析技術在D輪融資中獲得了3000萬美元，InfluxData以使用時間序列數據庫實時監控性能技術在C輪融資中獲得了3500萬美元，以及Actian憑借知名的內存混合交易/分析平臺被股權公司HCL收購。

 

 

我們所了解的數據庫正在被解構并重新組裝，用于面向邊緣的部署。

 

大數據分析市場的大部分發展都是面向邊緣的、流式、動態的數據架構，這些架構不一定依賴于龐大的存儲架構。這就解釋了為什么我們在2018年看到可擴展的機器數據存儲、處理和分析(CrateDB，A輪融資獲得1100萬美元)和流數據管道集成、監控和管理(StreamSets，C輪融資獲得2400萬美元)公司都獲得了融資。

 

Wikibon預測，2019年企業將部署流媒體平臺，推動低延遲DevOps管道，不斷向移動應用、物聯網、機器人和其他邊緣應用注入經過訓練的最佳機器學習模型。在線事務分析處理、數據轉換和數據治理工作負載也越來越多地轉向低延遲、有狀態的流式主干架構。

 

未來幾年，顛覆性的新數據平臺將進入市場，結合流媒體、內存和區塊鏈功能。這些新的分布式數據平臺中有很多將是針對連續的AI DevOps管道進行優化的，這些管道需要低延遲、可擴展和自動化的數據接收、建模、訓練、以及服務于邊緣設備。這些分析管道功能的無服務器接口將成為標準配置，并輔以有狀態流結構，支持新興5G寬帶無線網絡中邊緣設備中的內聯推薦引擎、下一個最佳動作和其他事務工作負載。