8億用戶、單日活躍人數(shù)超過(guò)1億人、每日超過(guò)600億次的API調(diào)度、超過(guò)1兆次遠(yuǎn)端程序呼叫，甚至連Log記錄檔每天都爆增100TB，這是新浪微博平臺(tái)維運(yùn)架構(gòu)師王關(guān)勝所面對(duì)的挑戰(zhàn)，他得設(shè)計(jì)出一個(gè)有能力勝任這些考驗(yàn)的微博系統(tǒng)的新一代架構(gòu)，而且高層給他的要求是，系統(tǒng)反應(yīng)時(shí)間不得超過(guò)50ms。

王關(guān)勝表示，微博如此大規(guī)模的業(yè)務(wù)，除了面臨系統(tǒng)快速更新的任務(wù)，各種不同系統(tǒng)元件間的依賴關(guān)系也相當(dāng)復(fù)雜。而當(dāng)國(guó)際事件、名人丑聞等高關(guān)注度的議題發(fā)生時(shí)，經(jīng)常導(dǎo)致微博的業(yè)務(wù)量遽增，使得系統(tǒng)流量達(dá)到頂峰。

尤其遇到大型節(jié)日或活動(dòng)時(shí)，如元旦、春晚、圣誕節(jié)還有紅包飛等大型活動(dòng)，同樣也會(huì)為微博帶來(lái)巨大的流量挑戰(zhàn)。王關(guān)勝表示，位于三節(jié)的日子，微博的系統(tǒng)流量，會(huì)在3個(gè)小時(shí)內(nèi)沖上頂峰，而紅包飛則是帶來(lái)瞬間的峰值流量，在兩個(gè)小時(shí)內(nèi)就達(dá)到最高點(diǎn)。過(guò)去面對(duì)此樣的峰值事件，微博需要調(diào)度大量硬體設(shè)備。而如此做法，除了成本高外，系統(tǒng)在進(jìn)行水平擴(kuò)充時(shí)，也必須耗費(fèi)更多的時(shí)間。

過(guò)長(zhǎng)的前置作業(yè)時(shí)間為微博帶來(lái)營(yíng)運(yùn)痛點(diǎn)

而繁瑣擴(kuò)充流程所花費(fèi)的時(shí)間，為微博帶來(lái)了營(yíng)運(yùn)痛點(diǎn)。過(guò)去當(dāng)峰值事件出現(xiàn)時(shí)，首先，維運(yùn)團(tuán)隊(duì)必須申請(qǐng)實(shí)體機(jī)器，將其登入組態(tài)管理資料庫(kù)（CMDB），在機(jī)房安裝妥當(dāng)后，交予第一線作業(yè)人員進(jìn)行初始化，并開(kāi)始進(jìn)行部署作業(yè)，如環(huán)境部署、監(jiān)控部署、服務(wù)部署及流量導(dǎo)入等流程。

王關(guān)勝表示，過(guò)去的水平擴(kuò)充的方法，也可能因?yàn)楦鱾€(gè)服務(wù)間的系統(tǒng)環(huán)境差異，無(wú)法充分使用硬體資源，即使有多余的伺服器也無(wú)法靈活調(diào)度。然而，在設(shè)備充足的狀況下，完成正常的設(shè)備申請(qǐng)程序也必須花上一天，甚至可能碰上沒(méi)有足夠設(shè)備的狀況，使得系統(tǒng)進(jìn)行水平擴(kuò)充花上更多時(shí)間。

另外，微博也有許多使用率不高、閒置在各叢集跟服務(wù)池的實(shí)體基礎(chǔ)設(shè)施，而微博過(guò)去在應(yīng)付紅包飛、三節(jié)爆增流量的作法，會(huì)預(yù)先在各個(gè)業(yè)務(wù)的伺服器叢集，準(zhǔn)備多余硬體設(shè)備，用來(lái)因應(yīng)峰值突發(fā)的事件。而預(yù)先準(zhǔn)備多余設(shè)備，則包含采購(gòu)周期過(guò)長(zhǎng)、機(jī)房空間不足所帶來(lái)的高營(yíng)運(yùn)成本外等缺點(diǎn)。

而設(shè)備申請(qǐng)時(shí)間周期長(zhǎng)、使用率不高的閒置設(shè)備，則對(duì)新浪微博帶來(lái)龐大的成本壓力。而因?yàn)槊媾R這些挑戰(zhàn)、痛點(diǎn)，「我們要建構(gòu)有彈性的混合云系統(tǒng)。」王關(guān)勝表示，微博的新做法是，導(dǎo)入公有云并結(jié)合過(guò)去的私有云，集結(jié)各業(yè)務(wù)叢集多余的運(yùn)算設(shè)施，構(gòu)建混合云的系統(tǒng)架構(gòu)。

他表示，混合云架構(gòu)除了妥善集成內(nèi)部硬體資源，解決內(nèi)部的彈型需求外，當(dāng)系統(tǒng)面臨流量劇增的峰值事件，亦可以將過(guò)多的流量引導(dǎo)至外部公有云，減輕內(nèi)部系統(tǒng)的壓力。

王關(guān)勝分析了采用混合云作法的好處，他表示，內(nèi)部私有云具備安全性高、掌握度高的特性，也可以因應(yīng)內(nèi)部需求，對(duì)硬體配置進(jìn)行優(yōu)化，適合處理固定的工作負(fù)載。而公有云的設(shè)備則具有標(biāo)準(zhǔn)化、自動(dòng)化的特性，可以快速因應(yīng)臨時(shí)需求，在爆增流量的狀況下，讓企業(yè)具備水平擴(kuò)充工作負(fù)載的能力。企業(yè)也可以利用公有云按照使用流量的付費(fèi)機(jī)制，減低固定的營(yíng)運(yùn)成本，而采用混合云架構(gòu)，可以兼具私有云以及公有云的優(yōu)點(diǎn)，「可以同時(shí)擁有安全性與彈性擴(kuò)充能力」，使系統(tǒng)工作負(fù)載可以在叢集間進(jìn)行遷移，讓低負(fù)載的叢集配置較少的設(shè)備，反之，負(fù)載高的叢集則必須準(zhǔn)備足夠的設(shè)備。而將Docker導(dǎo)入混合云的架構(gòu)，也使微博服務(wù)穩(wěn)定度高上許多。

透過(guò)三大關(guān)鍵，實(shí)現(xiàn)Docker混合云

微博混合云系統(tǒng)不單只是一般的混合云，而是導(dǎo)入了Docker，透過(guò)Docker Container快速部署的特性，解決爆量事件對(duì)微博系統(tǒng)帶來(lái)的壓力。過(guò)去企業(yè)在面對(duì)爆量事件，一般采取的作法是，首先評(píng)估需要多少額外設(shè)備，并向外部公有云申請(qǐng)機(jī)器分?jǐn)偭髁俊Ｈ欢丝赡艿凸缿?yīng)付爆量所需的設(shè)備外，即使事先準(zhǔn)備了足夠的VM，其部署時(shí)間成本也遠(yuǎn)高于Docker，無(wú)法即時(shí)幫助企業(yè)分?jǐn)傔^(guò)多外部請(qǐng)求。

而王關(guān)勝表示，微博Docker Container平臺(tái)的混合云核心設(shè)計(jì)思想，主要是借鏡銀行的運(yùn)作機(jī)制。他表示，民眾可以把錢存在銀行，而需要使用金錢的時(shí)候，只需要提領(lǐng)一部分，剩余的存款銀行可以拿去進(jìn)行投資。而微博則借鏡銀行的這一套運(yùn)作模式，在內(nèi)部設(shè)立一個(gè)硬體資源共享池外，還導(dǎo)入了外部公有云。

而要微博實(shí)現(xiàn)高彈性調(diào)度資源的混合云架構(gòu)，其中實(shí)現(xiàn)的關(guān)鍵則是Docker。王關(guān)勝表示，剛開(kāi)始他們思考該要使用裸機(jī)還是VM架構(gòu)，作為Docker Container的基礎(chǔ)設(shè)施。后來(lái)，考量如果要采用VM，內(nèi)部機(jī)房架構(gòu)要進(jìn)行許多改造。所以，目前微博的內(nèi)部私有云使用裸機(jī)部署，而外部公有云則采用阿里云彈性計(jì)算服務(wù)（ECS）的VM架構(gòu)。

王關(guān)勝也揭露微博構(gòu)成Docker Container平臺(tái)基礎(chǔ)架構(gòu)的3大關(guān)鍵，包含Docker在裸機(jī)上的部署架構(gòu)、自主開(kāi)發(fā)的Docker Registry以及網(wǎng)頁(yè)伺服器Nginx Upsync模塊。

第一是Docker Container的裸機(jī)部署方案，透過(guò)IP位址以及Port定義一個(gè)唯一的Container服務(wù)，而每臺(tái)伺服器上則可以開(kāi)啟多個(gè)Container，各個(gè)具有不同的功能。

例如，每一個(gè)Container服務(wù)所產(chǎn)生的行為日志，會(huì)經(jīng)由一個(gè)名為Scribe的Container集中收集。而集中后的數(shù)據(jù)則可進(jìn)行用戶行為分析。

此外，如果要進(jìn)行Container的運(yùn)作監(jiān)控，則是透過(guò)建立Cadvisor Container，將Container運(yùn)行產(chǎn)生的資料，傳送至Elasticsearch、Logstash及Kibana這3種開(kāi)源監(jiān)控軟體，進(jìn)行分析。或是，搭配開(kāi)源測(cè)量工具Graphite，監(jiān)控系統(tǒng)的運(yùn)作狀況。

第二則是Docker Registry，王關(guān)勝表示，微博使用Docker官方提供的Docker Registry，構(gòu)建了私有的映像檔儲(chǔ)存庫(kù)Registry Hub，并且透過(guò)這個(gè)映像檔儲(chǔ)存庫(kù)調(diào)度Docker Container需要的映像檔。

在今年，微博開(kāi)發(fā)出了第2版本的Registry Hub，將儲(chǔ)存引擎改為使用分散式開(kāi)源儲(chǔ)存平臺(tái)Ceph，并且在Docker Registry前端結(jié)合Nginx，實(shí)作負(fù)載平衡功能。王關(guān)勝表示，在升級(jí)過(guò)程中必須讓系統(tǒng)能夠兼容新舊版本的Registry Hub，而前端Nginx可以分析系統(tǒng)需求，辨別要從新版本或是舊版本映像檔儲(chǔ)存庫(kù)下載映像檔。

而外部公有云，微博則是透過(guò)映像檔快取，不必像私有云一樣，部署完整的映像檔儲(chǔ)存庫(kù)。微博位于阿里云映像檔快取架構(gòu)，總共包含3層架構(gòu)。包含最底層作業(yè)系統(tǒng)、中間層的運(yùn)作環(huán)境如Java、Tomcat，及最上層的Container。而在調(diào)度Container時(shí)，透過(guò)使用dockerignore指令，減少不必要的文件、目錄，借此減低映像檔的容量。在映像檔標(biāo)簽命名上，微博則禁止使用「Latest」做為映像檔標(biāo)簽。王關(guān)勝表示，由于不同使用者對(duì)于標(biāo)簽的理解不一，可能會(huì)誤以為是代表映像檔最新的版本。

而第三則是微博開(kāi)發(fā)的Nginx Upsync模塊，王關(guān)勝表示，去年微博開(kāi)始使用Container時(shí)，必須透過(guò)Container將Nginx掛載至前端，執(zhí)行負(fù)載平衡的任務(wù)。而Nginx部署完成后，必須透過(guò)重啟reload指令重啟Nginx。王關(guān)勝發(fā)現(xiàn)，Nginx對(duì)于特別大的流量會(huì)發(fā)生運(yùn)作不穩(wěn)定的情形。所以微博也直接開(kāi)發(fā)了Nginx Upsync模塊，不需要透過(guò)reload指令重啟，也可以保持系統(tǒng)穩(wěn)定運(yùn)作。而微博也針對(duì)兩種模塊進(jìn)行比較，發(fā)現(xiàn)流量大時(shí)，未修改的Nginx模塊會(huì)比Nginx Upsync模塊多上10％的請(qǐng)求。

目前微博開(kāi)發(fā)的Docker Container平臺(tái)系統(tǒng)，主要包含4層架構(gòu)：主機(jī)層、調(diào)度層及排程層，最上層則是包含應(yīng)用程式的業(yè)務(wù)層。底層的混合云基礎(chǔ)架構(gòu)則架設(shè)了專線，打通微博內(nèi)部資料中心以及阿里云。

當(dāng)業(yè)務(wù)A多馀的運(yùn)算資源導(dǎo)入溷合云共享池時(shí)，此時(shí)爆量的業(yè)務(wù)C，可從共享池調(diào)度業(yè)務(wù)A的運(yùn)算資源，而度過(guò)峰值事件后，便可以把多馀的運(yùn)算資源歸還至共享池。

王關(guān)勝表示，目前微博的溷合云系統(tǒng)在今年10月完成，目前開(kāi)啟的Container數(shù)量約是3,000個(gè)。不過(guò)，王關(guān)勝表示，在今年的雙11，微博也用此系統(tǒng)進(jìn)行實(shí)地演練，也達(dá)成微博所設(shè)定每次水平擴(kuò)充時(shí)間低于5分鐘的目標(biāo)。