今天我們要講的大數(shù)據(jù)公司叫作Confluent，這個(gè)公司是前LinkedIn員工出來后聯(lián)合創(chuàng)辦的，而創(chuàng)業(yè)的基礎(chǔ)是一款叫作Apache Kafka的開源軟件。
Confluen聯(lián)合創(chuàng)始人Jun Rao即將在QCon北京2018分享Apache Kafka的前世今生和未來的相關(guān)話題。
在整個(gè)Hadoop的生態(tài)圈里，Kafka是一款非常特殊的軟件。它由LinkedIn于2011年開源，并在2012年底從阿帕奇孵化器里面畢業(yè)，正式成為阿帕奇的頂級(jí)項(xiàng)目。
Kafka和其他的大數(shù)據(jù)平臺(tái)都不同，它的主要目的不是數(shù)據(jù)的存儲(chǔ)或者處理，而是用來做數(shù)據(jù)交換的。要更好地理解它是干什么的，我先談一下數(shù)據(jù)庫的日志文件。
數(shù)據(jù)庫系統(tǒng)需要保證數(shù)據(jù)的穩(wěn)定性，為了確保修改的數(shù)據(jù)能夠?qū)懭霂欤ǔ?huì)在更改數(shù)據(jù)之前先在磁盤里寫一條日志文件，大致上的格式是“時(shí)間戳：做了什么操作”。如果此后因?yàn)楣收蠈?dǎo)致數(shù)據(jù)本身沒有被更改，系統(tǒng)可以根據(jù)日志文件一條一條地重新執(zhí)行操作，讓數(shù)據(jù)恢復(fù)到應(yīng)該恢復(fù)的狀態(tài)。
后來有人意識(shí)到，這個(gè)日志的恢復(fù)功能還可以充當(dāng)數(shù)據(jù)復(fù)制。簡(jiǎn)單來說，如果兩個(gè)數(shù)據(jù)庫的初始狀態(tài)相同，又按照同樣的?順序執(zhí)行了一系列操作，那么最后的狀態(tài)也相同。所以在數(shù)據(jù)庫進(jìn)行數(shù)據(jù)復(fù)制的時(shí)候，系統(tǒng)可以把日志文件從一個(gè)系統(tǒng)傳輸?shù)搅硗庖粋€(gè)系統(tǒng)，另外一邊只要照著日志同樣地執(zhí)行一遍就好。
這個(gè)想法構(gòu)成了大部分?jǐn)?shù)據(jù)庫的主從備份機(jī)制的核心，而Kafka則把這個(gè)機(jī)制充分發(fā)揚(yáng)光大了。Kafka允許消費(fèi)者和生產(chǎn)者注冊(cè)進(jìn)Kafka，其中生產(chǎn)者會(huì)產(chǎn)生日志，而消費(fèi)者則消費(fèi)產(chǎn)生的日志。整個(gè)系統(tǒng)允許多個(gè)消費(fèi)者和多個(gè)生產(chǎn)者的注冊(cè)，這就實(shí)現(xiàn)了公司內(nèi)部不同數(shù)據(jù)源之間的數(shù)據(jù)交換。
Kafka作為開源產(chǎn)品是如此之成功，在整個(gè)Hadoop生態(tài)圈，乃至不用Hadoop，而是用其他數(shù)據(jù)源的產(chǎn)品里，它都可以用來進(jìn)行數(shù)據(jù)的備份和交換。所以，我們可以看到幾乎所有的互聯(lián)網(wǎng)公司里都部署了Kafka。
2014年的時(shí)候，Kafka的三個(gè)主要開發(fā)人員從LinkedIn出來創(chuàng)業(yè)，開了一家叫?作Confluent的公司。和其他大數(shù)據(jù)公司類似，Confluent的產(chǎn)品叫作Confluent Platform。這個(gè)產(chǎn)品的核心是Kafka，分為三個(gè)版本：Confluent Open Source、Confluent Enterprise和Confluent Cloud。
Confluent Open Source是Confluent公司在Kafka上的一個(gè)增強(qiáng)版本，其主要增強(qiáng)的地方是：增加了一個(gè)REST代理，以便客戶端可以使用HTTP連接；增加了對(duì)Java以外的語言的支持，比如C++、Python和.NET；增加了對(duì)Hadoop文件系統(tǒng)、亞馬遜S3存儲(chǔ)、JDBC等的連接的支持；最重要的是一個(gè)Schema Registry，這是對(duì)Kafka一個(gè)比較大的增強(qiáng)，它使得Kafka的數(shù)據(jù)流必須符合注冊(cè)的Schema，從而增強(qiáng)了可用性。所有這些東西本身也都是開源的，這使得其他第三方在這個(gè)上面繼續(xù)開發(fā)新功能成為了可能。
Confluent Enterprise是Confluent面向企業(yè)級(jí)應(yīng)用的產(chǎn)品，里面增加了一個(gè)叫作Confluent Control Center的非開源產(chǎn)品。Confluent Control Center是一個(gè)對(duì)整個(gè)產(chǎn)品進(jìn)行管理的控制中心，最主要的功能對(duì)這個(gè)Kafka里面各個(gè)生產(chǎn)者和消費(fèi)者的性能監(jiān)控。
Kafka作為一個(gè)非常重要的產(chǎn)品，已經(jīng)在很多互聯(lián)網(wǎng)企業(yè)里被作為關(guān)鍵組件部署了。而Kafka的性能監(jiān)控也早就是一個(gè)非常重要的問題，Kafka本身并不自帶性能監(jiān)控平臺(tái)，很多公司比如雅虎自己內(nèi)部開發(fā)了這樣的系統(tǒng)。但是Confluent開發(fā)的控制平臺(tái)無疑應(yīng)該是最可靠的，畢竟沒有人比Kafka的開發(fā)者更了解自己的產(chǎn)品。可惜這個(gè)是收費(fèi)產(chǎn)品，而且不開源。Confluent Enterprise同時(shí)還自帶了數(shù)據(jù)自動(dòng)負(fù)載平衡和跨數(shù)據(jù)中心數(shù)據(jù)復(fù)制的能力。
Confluent Cloud是Confluent Enterprise的云端托管服務(wù)，它增加了一個(gè)叫作云端管理控制臺(tái)的組件。除此之外，按照Confluent的說法，其實(shí)沒有什么差別。但是對(duì)于想要省心的用戶來說，這個(gè)產(chǎn)品無疑是更好的選擇。
Confluent的基本做法和Cloudera很像，主要的產(chǎn)品開源，但是控制中心這樣的東西不開源，只有買了企業(yè)版才能夠享受到。而兩者不同的地方主要在于，Confluent同時(shí)提供了云端服務(wù)的版本。加上Confluent有基于S3的連接，這使得從亞馬遜AWS讀寫數(shù)據(jù)都非常方便。
和Cloudera是Hadoop的集成商不同，Confluent主要還是圍繞著不同數(shù)據(jù)源之間數(shù)據(jù)的交換這個(gè)任務(wù)而生的服務(wù)。Kafka在整個(gè)開源產(chǎn)品里面是一個(gè)非常特殊的存在，它沒有什么競(jìng)爭(zhēng)對(duì)手，又是各大企業(yè)的剛需，它在脫離了整個(gè)Hadoop生態(tài)圈以后依然非常有價(jià)值。
從這個(gè)角度來講，Confluent毫無疑問有很多客戶會(huì)買單。大部分企業(yè)都不可能只有一個(gè)數(shù)據(jù)源，當(dāng)然谷歌這樣的企業(yè)?除外。而Kafka給數(shù)據(jù)源之間的數(shù)據(jù)交換提供了統(tǒng)一的平臺(tái)，而Confluent的企業(yè)級(jí)服務(wù)則讓這個(gè)平臺(tái)不但更好用了，而且更好管理了。
雖然說是同樣的生意模式，用在不同的產(chǎn)品里，產(chǎn)生的結(jié)果卻可能很不一樣。Confluent作為一家公司，是否能夠從Kafka這個(gè)數(shù)據(jù)交換平臺(tái)里面跳出來繼續(xù)擴(kuò)張，這很難說。但是僅僅是把這一攤生意做好，也足以支撐Confluent成為一個(gè)估值不低的公司，養(yǎng)活自己應(yīng)該是綽綽有余了。
Confluent最近拿到了5000萬美元的融資，其CEO在接受采訪的時(shí)候表示公司還將繼續(xù)擴(kuò)張。像Confluent這樣的平臺(tái)，在未來物聯(lián)網(wǎng)的架構(gòu)上，還有足夠多的空間，這大概表示了Confluent未來將重點(diǎn)發(fā)展的方向。
我們能看到的輝煌是目前有超過30%的世界500強(qiáng)公司在使用Kafka，怎樣做一個(gè)非常受歡迎的發(fā)布訂閱消息系統(tǒng)，未來又如何把Kafka建成實(shí)時(shí)流數(shù)據(jù)處理平臺(tái)，我想由Confluent的聯(lián)合創(chuàng)始人，也是Apache Kafka項(xiàng)目委員會(huì)主席Jun Rao來講再合適不過了，在4月份舉辦的QCon全球軟件開發(fā)大會(huì)北京站上，他將帶來相關(guān)內(nèi)容的演講。無論是想采用這一技術(shù)，還是希望做出自己的軟件的技術(shù)人，應(yīng)該都會(huì)有所收獲和感悟。
除此之外，還有100+國(guó)內(nèi)外技術(shù)大咖的實(shí)戰(zhàn)經(jīng)驗(yàn)分享，可以點(diǎn)擊閱讀原文8折購票，或者咨詢購票經(jīng)理Hanna，電話：15110019061，微信：qcon-0410。
作者介紹徐飛，計(jì)算機(jī)博士，資深架構(gòu)師，大數(shù)據(jù)基礎(chǔ)架構(gòu)專家，極客時(shí)間App專欄《技術(shù)與商業(yè)案例解讀》作者。現(xiàn)居美國(guó)，對(duì)全球計(jì)算機(jī)行業(yè)和前沿技術(shù)的發(fā)展有深刻而獨(dú)到的見解。
京公網(wǎng)安備 11010502049343號(hào)