昨日,Twitter發布了新開發的數據實時分析平臺Heron,以下為官方文檔摘譯:
我們每天在Twitter上處理著數十億的事件。正如你猜測的那樣,實時分析這些事件是一個巨大的挑戰。目前,我們主要的分析平臺是開源的分布式流計算系統Storm。但是隨著Twitter數據規模變大和多樣化,我們的需求已經發生了改變。因此,我們設計了一個新系統Heron——實時分析平臺,它可完全兼容Storm的API。我們在昨天的SIGMOD 2015上正式推出。
基本原理和方法:
實時流系統是在大規模數據分析的基礎上實現系統性的分析。另外,它還需要:每分鐘處理數十億事件的能力、有秒級延遲,和行為可預見;在故障時保證數據的準確性,在達到流量峰值時是彈性的,并且易于調試和在共享的基礎設施上實現簡單部署。
為了滿足這些需求,我們討論出了幾種方案,包括:擴展Storm、使用其他的開源系統、開發一個全新的平臺。因為我們有幾個需求是要求改變 Storm的核心架構,所以對它進行擴展需要一個很長的開發周期。其他的開源流處理框架并不能完美滿足我們對于規模、吞吐量和延遲的需求。而且,這些系統也不能兼容Storm API——適應一個新的API需要重寫幾個topologies和修改高級的abstractions,這會導致一個很長的遷移過程。所以,我們決定建立一個新的系統來滿足以上提到需求和兼容Storm API。
Heron的特色:
我們開發Heron,主要的目標是增加性能預測、提高開發者的生產力和易于管理。
圖1:Heron架構
圖2:拓撲架構
對于Heron的整體架構請看圖1和圖2。用戶使用Storm API來構建和提交topologies來實現一個調度。調度運行的每一個topology作為一個job,有幾個容器組成,其中一個容器運行主 topology,負責管理topology。每個剩余的容器運行一個流管理器,負責數據路由——一個權值管理器,用來搜集和報告各種權值和多個 Heron實例(運行user-defined spout/bolt代碼)進程。這些容器是基于集群中的節點的資源可用性來實現分配和調度。對于topology元數據,例如物理計劃和執行細節,都是保管在Zookeeper中。
Heron功能:
Off the shelf scheduler:通過抽象出調度組件,我們可輕易地在一個共享的基礎設施上部署,可以是多種的調度框架,比如Mesos、YARN或者一個定制的環境。Handling spikes and congestion:Heron 具有一個背壓機制,即在執行時的一個topology中動態地調整數據流,從而不影響數據的準確性。這在流量峰值和管道堵塞時非常有用。圖3:Heron UI,顯示邏輯計劃、物理計劃和拓撲狀態
Easy debugging:每個任務是進程級隔離的,從而很容易理解行為、性能和文件配置。此外,Heron topologies復雜的UI如圖3所示,可快速和有效地排除故障問題。Compatibility with Storm:Heron提供了完全兼容Storm的特性,所我們無需再為新系統投資太多的時間和資源。另外,不要更改代碼就可在Heron中運行現有的Storm topologies,實現輕松地遷移。Scalability and latency:Heron能夠處理大規模的topologies,且滿足高吞吐量和低延遲的要求。此外,該系統可以處理大量的topologies。Heron性能
我們比較了Heron和Storm,樣本流是150,000個單詞,如下圖所示:
圖4. Throughput with acks enabled
圖5. Latency with acks enabled
如圖4所示,Heron和Storm的吞吐量呈現線性增長的趨勢。然而,在所有的實驗中,Heron吞吐量比Storm高10–14倍。同樣在端至端延遲方面,如圖5所示,兩者都在增加,可Heron延遲比Storm低5–15倍。
除此之外,我們已經運行topologies的規模大概是數百臺的機器,其中許多實現了每秒產生數百萬次事件的資源處理,完全沒有問題。有了 Heron,眾多topologies的每秒集群數據可達到亞秒級延遲。在這些案例中,Heron實現目標的資源消耗能夠比Storm更低。
Heron at Twitter
在Twitter,Heron作為我們主要的流媒體系統,運行數以百萬計的開發和生產topologies。由于Heron可高效使用資源,在遷移Twitter所有的topologies后,整體硬件減少了3倍,導致我們的基礎設置效率有了顯著的提升。
下一步?
我們樂意協作和在Storm社區分享我們的經驗,或是其他實時流處理系統的社區,以便進一步促進這些程序的開發。
我們第一步是分享我們在SIGMOD 2015上的Heron研究論文。你會發現更多的細節:我們設計Heron的動機、系統的功能和性能,以及我們如何在Twitter上使用它。