Databricks Cloud是一款基于云計算的Spark大數據處理引擎，它實現了一些更新特性，旨在滿足來自數據科學家社區的功能需求。
Databricks公司在去年六月份發布的版本功能是不太完善的，該公司既有客戶都在考慮他們的應用是否可以遷移到基于云計算的基礎設施。在此過程中，有許多組織都在等待他們想要的產品。今天，Databricks公司終于向所有期待者推出了Databricks Cloud服務。
Databricks Cloud通用版基于Apache Spark 1.4，該版本中最突出的特性是支持R語言的接口，一些Spark用戶一直在提議支持R語言，Spark開發者們去年夏天就許諾一定會支持。R語言是最流行的分析程序編程語言之一，在數據科學家群體中廣泛應用，Spark集成對R語言的支持將實現可以用R語言針對巨大數據存儲構建和運行應用。
更好的協作和更多控制
Spark1.4還包括內建對GitHub版本工具的集成，它支持多人開發團隊跟蹤項目變化，不管是做分析算法還是應用開發，都能改善團隊協作。此外，新發布版本給IT管理員們提供了更多功能，可以基于角色分組給終端用戶分配權限，改善了訪問控制功能。Databricks公司說將在該公司產品中支持那些功能特性，預計下半年可以實現。
Databricks公司是由Spark創始人MateiZaharia與其他人聯合創建的，是Apache軟件基金會Spark開源項目的主要貢獻機構。最開始的時候，Databricks公司在AWS云平臺上運行產品版本，Databricks Cloud的主要吸引力在于它給用戶提供了訪問Sparks功能特性集的途徑，包括內存中處理數據的能力，無需安裝產品本身就能用了。
BennyBlum就是這樣一位用戶。Blum是Databricks公司的客戶Sellpoints公司負責產品和數據科學的副總裁，這是一家電子商務優化服務供應商，該公司幫助有需求的公司網站獲得更多流量，更好地投放他們的在線廣告給潛在客戶。他說，他喜歡Spark的功能，但是又不想在內部管理這項技術，因為該技術相對復雜，需要投入大量的時間進行研究。
Blum說：“我們可以建立自己的集群并運行Spark，但是我們對Spark還是相當陌生的，它需要大量資源才能確保集群正常工作。”
利用Spark和R語言回歸傳統方式
與R語言的集成是令Blum感興趣的另一個特性。Sellpoints公司在引入Databricks Cloud之前大量使用R語言做數據分析，公司大量數據科學家都喜歡這種語言。但是因為R語言在Spark大數據引擎以前的版本中不支持，所以在今年剛開始時候Sellpoints公司考慮實施Databricks技術時放棄了考慮R語言。但是他們現在將尋求可以重新實施支持R語言的具體項目。
R語言支持可以說是Blum認為Spark存在的主要缺陷之一。既然該平臺主要是為了處理大量數據處理而設計，那么其機器學習算法庫對于較小的任務來說很難實施，因為小任務需要靈活性，這類應用仍然需要開發，在投入生產應用之前也需要經常測試和更新。R原本就是針對在單一計算機上內存中處理任務而設計的，所以它更適合處理這類應用開發的靈活性。Blum認為，新的接口(支持R語言)幫助在數據科學家和其它終端用戶之間的鴻溝上架起了橋梁。
他說：“事實上，Spark本就是為處理大規模數據設計的，所以Spark中的機器學習庫也是限制在那個規模上使用才更有效的。”
京公網安備 11010502049343號