2016年即將結束，一項新的調查結果表明，大數據技術在云環境下正發展成熟且規模快速增長。

作為利用OLAP類多維數據集立足Hadoop進行商務智能分析的專業企業，AtScale公司最近對來自77個國家1400家公司的2550多位大數據專家進行了調查。此項調查還邀請到了Cloudera、Hortonworks、MapR、Cognizant、Trifacta以及Tableau等各方共同參與。

AtScale公司的這份《2016年大數據成熟度調查》發現，近70%的受訪者已經擁有超過一年的大數據技術使用經驗（上年這一比例為59%）。76%的受訪者目前正在使用Hadoop，而有73%表示其正將Hadoop引入生產環境（上年這一比例為65%）。另外，74%的受訪者擁有超過10套Hadoop節點，而20%受訪者則擁有超過100套節點。

“在本次調查當中，受訪者的成熟度成為一項關鍵性因素，”大數據分析師以及《顛覆性分析（Disruptive Analytics）》一書作者Thomas Dinsmore在本周三的一份聲明中表示。“目前已經有五分之一受訪者擁有超過100臺節點，而74%的受訪者將相關技術引入生產，這一數字較上一年有了兩位數的增長。”

受訪者同時表示，他們正越來越多地轉向云環境，考慮借此托管自己的大數據分析任務。53%的受訪者指出，他們已經將大數據負載部署至云當中; 而14%受訪者則已經將其全部數據部署至云端。72%的受訪者計劃接下來利用云服務進行大數據部署。

“很明顯，過去一年中大數據在云環境下的應用出現顯著增長，而更有趣的是受訪者們顯然認為數據在云端更有可能產生實際價值，”AtScale公司CTO兼聯合創始人Matt Baird解釋稱。

Hadoop在外部環境下效果更佳

“Hadoop非常棘手，”AtScale公司CEO兼創始人Dave Mariani補充稱。“其非常難于部署，同樣非常難于管理。我發現大多數客戶都不希望分神考慮其Hadoop集群的管理工作。云環境帶來的規模化彈性能力，不僅是隨意添加節點同時亦可根據需要輕松削減節點，同時利用對象存儲機制作為持久層進行數據容納，這種實現方式與內部Hadoop架構完全不同。”

而在大數據技術不斷成熟的同時，其面向的主要工作負載類型也在發生變化。

“去年的頭號工作負載類型為ETL，其次是商務智能，再次是數據科學，”AtScale公司首席營銷官Bruno Aziza指出。“今年，頭號工作負載類型變成了商務智能。”

商務智能規模可觀

ETL與數據科學仍然在大數據工作負載當中占據可觀比重，但商務智能（簡稱BI）則在過去一年中呈現出不可阻擋的發展趨勢，其已經在受訪者的現有及未來預期大數據使用方向層面占據75%支持率。而且就目前來看，這種趨勢毫無轉弱的跡象——如果調查結果正確的話。有高達97%的受訪者表示他們計劃在未來三個月中利用大數據技術支持商務智能負載。

盡管Spark周邊一直圍繞著不少炒作之聲，不過本次調查發現42%的企業雖然利用Spark實現某些教育目標，但目前尚未真正利用其構建真實項目。只有三分之一受訪者指出，Spark目前在其開發工作中占可觀比重，而25%的受訪者則表示他們已經將Spark部署至開發及生產環境當中。

“Spark雖然令人們非常興奮，但其實際部署比重仍然比較有限，”Aziza總結稱。

“如果大家探究這些Hadoop技術使用計劃，就會發現大多數人都抱持著‘我打算將Spark作為首選引擎’的想法。然而一旦進入Hadoop實際使用階段，大多數人則更傾向于使用Hive，”Mariani補充稱。“大家永遠不會在ETL管道中使用Spark。Hive在這方面表現無疑更好。不過同樣的，我們也永遠不會在交互式查詢領域使用Hive，這方面的最佳選項應該是Spark或者Impala。”

不過需要注意的是，已經在生產環境中部署Spark的企業切實獲得價值回報的可能性要高出85%。

在大數據技術難題方面，可訪問性、安全性以及治理成為關注度同比增長最快的三大議題。其中治理相關擔憂的增幅最大，占全部受訪者的21%。

原文標題：Businesses eye cloud for big data deployments

原文作者：Thor Olavsrud