據Gigaom消息,Hortonworks已經將Apache Kafka加入其Hadoop軟件平臺的技術預覽版中。對比Spark,Kafka的在流行度上可能稍有遜色,但是卻被廣泛運用于一些大型網絡公司的應用架構中。Kafka最初是由LinkedIn設計的實時消息系統,當下已經被很多網絡公司用于將Web應用消息快速傳遞到合適的數據服務中。
Kafka如何和其他服務整合
除了Kafka之外,Hortonworks已經分別整合了Spark與Storm。在2013年底,Hortonworks宣布在收到大量的客戶請求后,Hortonworks決定開始將Sotrm流處理引擎整合到該公司的Hadoop產品中。考慮到Hadoop的批處理設計,這項工作確實有著重要的意義。Hortonworks產品副總裁Bob Page表示:“ Storm在近日成為Apache軟件基金會的孵化項目后,已然值得Hortonworks投資。”
在Spark上,Hortonworks CTO Eric Baldeschwieler表示,Spark在不久的將來會取代Hadoop MapReduce,成為大數據生態圈內編寫和分享算法的標準平臺。
Eric在Spark Summit 2014上的講義
當然,除了Hortonworks,其直接對手Cloudera及MapR也有類似的操作。但是區別就在于,Cloudera等產品方式偏向于許可付費,而Hortonworks更像增值付費——提供了產品的開源版本,但是如果部署過大以致機構無法獨立完成,那么可以尋求付費版幫助。