Hadoop供應商MapR最近宣布,新版的Hadoop軟件發行版包括POSIX代理、為C語言開發者準備的API和針對MapR數據庫的跨數據中心表復制。4.1版本是MapR和其他伙伴合作,共同開發Myriad開源項目的結晶,希望在數據中心為大數據負載協作提供有效的工具。
MapR升級的表復制功能意在告訴Hadoop用戶,開源分布式處理框架的部署不必局限在一個數據中心。
美國線上廣告平臺開發公司Altitude Digital的CTO Manny Puentes是一名MapR用戶,也是新版本的早期評估者,他表示,數據復制需要大量人力,自動化程度很低,MapR Hadoop 4.1發行版簡化了這一流程。
因為Altitude Digital這樣的公司需要根據不斷增加的用戶數據量快速為網站瀏覽者提供在線廣告,所以跨數據中心復制對它們來說非常重要。Puentes表示:“無論訪問什么數據中心都能得到相同的信息,對實時分析很有幫助。” Puentes之前在另一家公司的時候也部署了MapR的軟件。
MapR的首席市場官CMO Jack Norris認為,Myriad項目也在尋求其他的提升數據中心Hadoop使用的方法。
這種軟件目前還在早期研發階段,它將把Hadoop YARN集群資源管理器,任務調度程序和新興管理框架Apache Mesos結合起來,Mesos能夠使多種工作負載在一個數據中心里同時運行。Myriad項目是由MapR、eBay和Mesosphere合作完成的,其中Mesosphere提供了系統硬件。
Norris表示,Myriad允許Hadoop用戶同時運行YARN和Mesos。如果Hadoop想在主流計算應用中找到更多的應用程序,這種結合是很必要的。