Microsoft Azure之類的云正努力將部署簡化，但這和端對端大數據分析應用程序的實現以及將其在云上運行一樣困難，因為它是在數據中心。一個來自Cask Data公司的應用程序數據框架有意對這些實現進行加速，而Azure HDInisight便是其目標之一。

隨著大數據分析變成大數據工作流和應用程序，該框架便是試圖要解決由此引起的各種問題。

“從大數據管道的角度來看，很多是去做一些諸如點擊流分析之類的的事情。客戶想要的是能讓這些應用程序的構建更快，” Microsoft的首席項目經理Pranav Rastogi解釋道。

他說，有了Cask Data Application Platform（Cask數據應用程序平臺CDAP），用戶就可以創建一個端對端的大數據管道，而且用多種大數據組件創建這些工作流是當今大數據所面臨的核心問題。

Cask的CTONitin Motgi表示，該公司的軟件有助于將數據流分解為邏輯處理分片在MapReduce或Spark中運行，即便對于最好的Java開發人員來說，這也是一項極為費時的工作。

“人們正面臨著技能的挑戰，尤其是低級API，”他說。Cask環境試圖通過一個面向模型的接口將開發推向一個更高的抽象層級。他說，與此同時，CDAP使用底層容器架構。它將數據，應用程序和程序組織起來在Hadoop上運行。

微軟和Cask的技術人員在最近的一個直播節目中對CDAP和其在對像Apache Hadoop和Apache Spark這樣的大數據關鍵平臺上部署進行加速所發揮的作用進行了探討。

最近在紐約的Strata + Hadoop 大會上CDAP已經獲得了Azure的認證而且現在可以在Azure HDInsight上運行，它是Microsoft的Hadoop和Spark的支柱。

Forrester Research的分析師Mike Gualtieri說，像CDAP和Azure HDInsight的組合可以解決那些阻止大數據分析更廣泛使用的問題。他說數據和分析技術的應用已經變慢，這是因為對于業務來說它很難提取價值。他堅持認為只有當大數據技術變成實際應用程序的一部分時，才能成為業務催化劑。

“人們將Hadoop看做是一個數據湖，而Spark是一個數據分析系統，但工作應用程序則是關鍵所在，”他說，“Cask的所作所為就是它讓你根據應用程序進行工作。”應該將該系統更多地看做是一個應用程序平臺，而不是一個分析平臺。

他把該影響與諸如WebLogic之類的早期應用程序服務器相比，在1990年代早期WebLogic將不同的中間件集成在一起來創建應用程序。“你現在所擁有的是一個可以作為分析系統的應用程序集群，而不是一個應用程序服務器。”

WebLogic應用程序服務器發展成了著名的開發中心，而且現在歸Oracle所有，而CDAP為構建應用程序提供了一個有用的抽象層級。

Microsoft一直在穩步努力為在Azrue云上的Hadoop和Spark大數據管道開發和管理創建其自己的工具。但該公司已經表現出獲得外部幫助的興趣，這從與Cask的交易中可見一斑。

實際上，Microsoft的HDInsight工作是與Hortonworks一起完成的，Hortonworks是一個Hadoop的頂級分銷商，它是Microsoft常年投資的受益者。同時，今年早些時候，該大數據分析平臺制造商發布了一個其Datameer Cloud的版本，而Datameer Cloud是運行在Microsoft的Azure HDInisght上的。

就其本身而言，Microsoft在云上將Azure Data Factory作為一項大數據集成服務加以提供。Microsoft的Rastogi承認“在高層級上，Data Factory和CDAP正在解決同樣的問題。”然而在不同的場景下，各自也會比對方擁有更多的資源，他說。

在某些路線圖一致性上還有前提工作要做，而通過這些工作就能看到Azure Data Factory作為CDAP管道的一部分來使用，Cask的Motgi說。顯然，還有很多構建的事要做。在今年晚些時候將發布一個版本CDAP 4，它將包含諸如針對Azure Storage的Simple Storage Service和針對HDInsight HBase的SQL Server等預制管道，而該版本的目標就是對大數據應用程序部署大力加速。

獲得Azure上的更多數據是Microsoft的一個目標，而CDAP認證對此頗有幫助。其希望在于當數據上線后，就可以將熟悉的Microsoft分析工具用于這些數據。

Forrester的Gualtieri將分析標記為這樣一個領域，在該領域內Microsoft Azure曾與Amazon Web Services競爭激烈。而他指出Amazon在云方面整體上處于龍頭地位，在今年二季度完成的Forrester Wave關于大數據云服務的研究中，他指出和Amazon頗具競爭力的Hadoop服務相比，Azure HDInsight的得分還有所領先。他說Azure HDInsight所具有的優勢來源于Microsoft的分析工具。

他說，“你要尋求‘價值的增加。’Amazon的方法就是構建基本功能，而Microsoft則是引入BI工具來解決該問題。這在他們已經進行的投資中就有所反映。”