最新的Confluent企業版支持多數據中心復制、自動數據平衡和云遷移功能。Confluent是基于Apache Kafka的流平臺提供商,它宣布了Confluent企業版的新特性,這些特性有助于構建流數據管道和開發流處理應用。
新的版本將會在本月底發布,其中包括了Confluent的兩個版本:
Confluent平臺:這是開源版本。它包括了Apache Kafka以及針對C、C++、Python和Go編程語言的客戶端,它還打包了針對JDBC、ElasticSearch和HDFS的連接器,一個用于管理Kafka主題元數據的模式注冊表(Schema Registry)以及與Web應用進行集成的REST代理; Confluent企業版:這是針對企業提供的版本,包含了開發企業級流應用的額外功能。它包括了監控事件流的Confluent控制中心(Confluent Control Center)、MDC復制以及自動化的數據平衡功能。新的數據復制和數據平衡功能有助于更好地管理Kafka集群。
多數據中心復制(Multi-datacenter replication):借助多數據中心(MDC)復制功能能夠實現安全的多集群副本,并且能夠通過中心化的配置維護這些位于不同地理位置的集群。每個數據中心的Kafka集群是同步的,所以不同數據中心上的應用和配置能夠保持同步。
它提供了持久化的跨數據中心復制功能并且與安全進行集成,能夠在Apache Kafka中加密和認證復制的數據。我們可以針對整個集群或特定的主題子集進行復制操作。
MDC副本自帶了完整的安全支持,包括跨數據中心對副本數據進行自動化的訪問控制。認證采用的是SASL機制,支持與Kerberos和Active Directory集成。授權能夠基于主題進行MDC的流復制。加密是基于SSL和Mirror Maker的。
自動化數據平衡:自動化數據平衡特性允許從Kafka集群中添加和移除節點,因此我們甚至可以創建跨集群的工作負載。它會監控集群的統計數據,比如節點的數量、分區(partition)的大小、分區的數量以及集群中leader的數量,并且會采用機架感知(rack aware)的算法來重平衡跨集群的分區。
云遷移: Confluent企業版產品對云功能的支持有助于將數據流創建到云端,并且能夠將云集群與內部的Kafka集群進行同步?;贑onfluent的復制功能,能夠允許組織從某種云策略轉換為將來的其他策略。
如果你對新特性感興趣的話,可以注冊即將開始的webinar或者最近上線的免費在線系列演講。
查看英文原文:Confluent Announces Kafka for the Enterprise with Multi-Datacenter Replication