Kafka關鍵字列表
今天我們要講的大數據公司叫作Confluent，這個公司是前LinkedIn員工出來后聯合創辦的，而創業的基礎是一款叫作Apache Kafka的開源軟件。
經過長達一年的測試期后，Azure HDInsight的Apache Kafka已經做好了承擔生產工作負載的準備，將與微軟聯合推出相關工作的解決方案。微軟稱，通過整合，將Kafka作為Azure的托管服務，有助于消除某些企業在超連接的世界中搶占商機的障礙。
日志就像是分布式文件系統中的一個文件，在這個系統里，日志被復制到多臺機器上，被持久化到磁盤，并支持高吞吐的線性讀取和寫入。
Kafka從首次發布之日起，已經走過了七個年頭。0 10 0版本里開始引入的Streams API在1 0 0版本里繼續演進，改進了builder API（KIP-120），新增了用于查看運行時活躍任務的API（KIP-130）和用于聚合分區的cogroup API（KIP-150）。
重磅開源KSQL：用于Apache Kafka的流數據SQL引擎
底層的度量指標無法告訴我們應用程序的實際行為，所以基于應用程序生成的原始事件來自定義度量指標可以更好地了解應用程序的運行狀況。
本文為您盤點了14個最常見的Kafka面試題，同時也是對Apache Kafka初學者必備知識點的一個整理與介紹。·每個分區使用一個單獨的寫入器，每當你發現一個網絡錯誤，檢查該分區中的最后一條消息，以查看您的最后一次寫入是否成功
Confluent Cloud：AWS中的Apache Kafka即服務
根據購買計劃的不同（參見表格）讀取負載的可用吞吐量在1MBps到10MBps之間，寫入吞吐量減半。該報告的調查結果顯示
從上個月AWS服務器宕機事件中，我們應該可以看出，只有一個云是不夠的。總的來說，你至少應該傾向于開源、開放標準和開放API的特定供應商解決方案。記住，你的云供應商永遠會想著如何讓你離不開他們。
Jay Kreps談基于Apache Kafka和Kafka Streams的分布式流處理
借助Apache Kafka和Kafka Streams框架可以更好地搭建以流為中心的架構和開發分布式流處理應用程序。Kafka Streams是一個Java類庫，可以用來構建具有容錯能力的分布式流處理應用程序。
Confluent宣布企業版Kafka支持多數據中心復制功能
多數據中心復制（Multi-datacenter replication）：借助多數據中心（MDC）復制功能能夠實現安全的多集群副本，并且能夠通過中心化的配置維護這些位于不同地理位置的集群。
Confluent宣布企業版Kafka支持多數據中心復制功能
最新的Confluent企業版支持多數據中心復制、自動數據平衡和云遷移功能。多數據中心復制（Multi-datacenter replication）：借助多數據中心（MDC）復制功能能夠實現安全的多集群副本，并且能夠通過中心化的配置維護這些位于不同地理位置的集群。
Confluent Platform 3.0支持使用Kafka Streams實現實時的數據處理
傳輸中的數據可以使用SSL TLS進行加密，它的加密發生在數據生產者到Kafka broker之間（服務器），從Kafka broker到數據消費者之間以及Kafka集群內部broker之間的通信。
LinkedIn詳細介紹了由他們開源的Kafka Monitor
多個Kafka Monitor跨多個Kafka集群運行大量的測試場景，這可以由一個復制服務通過鏡像方式捕獲跨集群的總體延遲指標。Kafka項目本身包含一些系統測試，每次代碼撿入時都會運行，鑒于和Kafka主干的緊密關系，LinkedIn計劃實現類似的系統測試。
LinkedIn的工程師詳述了生產環境下Kafka的調試和最佳實踐
在本文中，LinkedIn的軟件工程師Joel Koshy詳細闡述了他和一個工程師團隊是如何解決生產環境下Kafka的兩次事故的。Kafka代理之間不清楚首席代理選舉的規則，這會導致處于分區的首席代理在完成復制延遲過程中的失敗會引起偏移量倒轉。
Neha Narkhede: 借助Apache Kafka實現大規模流處理
在QCon紐約2016大會上，Neha Narkhede在演講“借助Apache Kafka實現大規模流處理”中介紹了Kafka Streams，這是Kafka用于處理流式數據的新特性。
現在已經沒有人會否認大數據給商業世界帶來了一場風暴，這場風暴也將席卷航空旅游業，最主要的原因是這個行業的發展方向將是：為旅行者個性化的旅行服務。
在近期舉辦的QCon London大會上，Ben Stopford在他的演講中極力主張擁抱去集中化的思想、構建基于服務的系統，并通過流處理工具解決分布式狀態所引起的問題。
企業網版權所有?2010-2024 京ICP備09108050號-6
京公網安備 11010502049343號
