隨著技術(shù)的成熟,應(yīng)用的推動(dòng),很多企業(yè)IT系統(tǒng)已經(jīng)邁出了走向云計(jì)算的第一步,這一步就是虛擬機(jī)的應(yīng)用。
在一臺(tái)物理服務(wù)器上虛擬出多個(gè)服務(wù)器,這種方式給IT帶來(lái)了實(shí)實(shí)在在的效益,服務(wù)器的采購(gòu)數(shù)量減少了。用虛擬機(jī)為原來(lái)沒(méi)有HA的業(yè)務(wù)增加上了HA,減少了業(yè)務(wù)中斷的投訴和抱怨。更強(qiáng)勁的硬件也不再只發(fā)揮出10%的能力,有了用武之地,……
下圖是IDC 2011年的報(bào)告。在2010年,已經(jīng)有51%的負(fù)荷是由虛擬機(jī)在承擔(dān)。
到2013年,有69%的負(fù)荷將由虛擬機(jī)來(lái)承擔(dān)。
和虛擬機(jī)的應(yīng)用和技術(shù)發(fā)展相比,網(wǎng)絡(luò)對(duì)虛擬機(jī)的感知明顯發(fā)展滯后了。這給虛擬機(jī)的應(yīng)用帶來(lái)了諸多困擾。服務(wù)器中需要有虛擬交換機(jī)來(lái)實(shí)現(xiàn)虛擬機(jī)間的通信。虛擬交換機(jī)的管理需要服務(wù)器管理員掌握網(wǎng)絡(luò)知識(shí),或者網(wǎng)絡(luò)管理員將手伸到服務(wù)器里面。虛擬機(jī)網(wǎng)絡(luò)故障,是在虛擬交換機(jī),還是在物理網(wǎng)絡(luò),故障的定位更加困難。隨著虛擬機(jī)技術(shù)的發(fā)展,虛擬機(jī)遷移、資源池調(diào)度的應(yīng)用越來(lái)越普及,在虛擬機(jī)遷移的目的地,網(wǎng)絡(luò)需要提前就緒,包括配置、動(dòng)態(tài)表項(xiàng)等。
就像機(jī)場(chǎng)飛機(jī)的起降前機(jī)場(chǎng)的準(zhǔn)備就緒需要由機(jī)場(chǎng)指揮塔來(lái)調(diào)度。虛擬機(jī)起降前網(wǎng)絡(luò)的準(zhǔn)備就緒也需要網(wǎng)絡(luò)“指揮塔”來(lái)調(diào)度解決。
虛擬機(jī)的網(wǎng)絡(luò)環(huán)境分析
IEEE標(biāo)準(zhǔn)802.1Qbg[1]中對(duì)虛擬機(jī)接入網(wǎng)絡(luò)的各種方案做了全面的總結(jié)。主要有下面三種:
“軟件實(shí)現(xiàn)的虛擬交換機(jī)”是最原始、最基本的方式,VMWare ESX、微軟 Hyper-V等虛擬機(jī)平臺(tái)都作為基本功能模塊提供。“由智能網(wǎng)卡實(shí)現(xiàn)交換”是網(wǎng)卡廠商主導(dǎo)的硬件加速方案,虛擬機(jī)平臺(tái)對(duì)這種方式也已經(jīng)逐步支持起來(lái)。這兩種方式在數(shù)據(jù)流量管控上都存在較大的困難,例如,要實(shí)現(xiàn)流量采集,需要在物理服務(wù)器中創(chuàng)建一個(gè)虛擬機(jī),專門用來(lái)運(yùn)行探針。“接入交換機(jī)環(huán)回轉(zhuǎn)發(fā)”的方式性能最佳,流量管控能力最強(qiáng),但需要接入交換機(jī)支持,部分舊的交換機(jī)需要更換,適合在新建數(shù)據(jù)中心部署。
總之,無(wú)論是哪種方式,網(wǎng)絡(luò)“指揮塔”都需要能夠很好的支持。
“指揮塔”要縱觀全局
網(wǎng)絡(luò)“指揮塔”要能夠看到“虛擬交換機(jī)”,看到虛擬機(jī)和虛擬交換機(jī)的連接關(guān)系,看到“虛擬交換機(jī)”和物理交換機(jī)的連接關(guān)系。這是對(duì)虛擬機(jī)網(wǎng)絡(luò)進(jìn)行指揮調(diào)度的基礎(chǔ)。
本文以華為公司的相應(yīng)產(chǎn)品為藍(lán)本,介紹一下業(yè)界在虛擬機(jī)網(wǎng)絡(luò)管理方面的技術(shù)應(yīng)用。
華為公司的虛擬機(jī)網(wǎng)絡(luò)“指揮塔”nCenter(Network Center,和VM的管理器vCenter是兄弟)。
虛擬機(jī)網(wǎng)絡(luò)管理一般包括虛擬資源管理和虛擬機(jī)遷移管理。虛擬資源管理包括物理和虛擬資源的信息采集和拓?fù)涔芾恚ㄌ摂M機(jī)、虛擬交換機(jī)、物理服務(wù)器、物理交換機(jī)。
nCenter通過(guò)網(wǎng)管標(biāo)準(zhǔn)協(xié)議發(fā)現(xiàn)TOR,通過(guò)vCenter的開(kāi)放接口從vCenter獲取虛擬機(jī)信息(包括虛擬機(jī)和虛擬交換機(jī)的連接關(guān)系)。
TOR通過(guò)LLDP、CDP等設(shè)備發(fā)現(xiàn)協(xié)議發(fā)現(xiàn)虛擬交換機(jī),明確虛擬交換機(jī)和TOR的拓?fù)潢P(guān)系。
綜合上述信息,nCenter能夠繪制出完整的物理、虛擬資源及拓?fù)洹O聢D是nCenter上查看虛擬機(jī)網(wǎng)絡(luò)拓?fù)涞囊粋€(gè)實(shí)例。
圖中38、40是TOR,下面的框分別是兩臺(tái)物理服務(wù)器,內(nèi)部各有幾臺(tái)虛擬交換機(jī)和幾個(gè)虛擬機(jī)。圖中清晰簡(jiǎn)潔的呈現(xiàn)出了物理節(jié)點(diǎn)、虛擬節(jié)點(diǎn),物理、虛擬的拓?fù)溥B接關(guān)系也清楚明了。故障定位有圖可循,能夠極大的提高管理維護(hù)效率,降低管理維護(hù)成本。
拓?fù)涔芾磉€提供搜索功能,在很大規(guī)模的網(wǎng)絡(luò)中,也能方便快捷地搜索出虛擬機(jī)。
虛擬機(jī)“起降”的指揮調(diào)度
僅僅實(shí)現(xiàn)拓?fù)涔芾恚€不能成為“指揮塔”。“指揮塔”還必須能夠管理虛擬機(jī)的“起降”(遷移),在虛擬機(jī)“起降”時(shí),網(wǎng)絡(luò)必須能夠按需配置、動(dòng)態(tài)調(diào)整、及時(shí)就緒。
每個(gè)虛擬機(jī),根據(jù)其部署的具體業(yè)務(wù),需要規(guī)劃網(wǎng)絡(luò)配置,包括:QoS、ACL等。在虛擬機(jī)部署前,需要先在nCenter上創(chuàng)建策略模版。策略模版統(tǒng)一管理起來(lái),虛擬機(jī)“起降”時(shí),參數(shù)配置就可以從策略模版中獲取。
開(kāi)放支持各種虛擬機(jī)“起降”
IEEE的標(biāo)準(zhǔn)802.1Qbg有兩種方案,一種是“帶內(nèi)管理”方案。如下圖所示:
其中VSI Manager是管理VSI(Virtual Station Interface)的配置信息,即上面說(shuō)的虛擬機(jī)的策略模版。隨路信令在802.1Qbg中定義了,包括:ECP(Edge Control Protocol)用于封裝VDP協(xié)議;VDP(VSI Discovery and Configuration Protocol)用于VSI的發(fā)現(xiàn)與配置,基于ECP;和CDCP(S-Channel Discovery and Configuration Protocol)用于配置、創(chuàng)建和刪除S-Channel(非必選)。
服務(wù)器中的虛擬機(jī)創(chuàng)建、刪除,通過(guò)VDP協(xié)議通告給TOR,TOR向VSI Manager獲取網(wǎng)絡(luò)策略,完成網(wǎng)絡(luò)屬性配置。因?yàn)閂DP協(xié)議和虛擬機(jī)的網(wǎng)絡(luò)鏈路是同一條,因此,稱為“帶內(nèi)管理”。
另一種方案是“帶外管理”方案。如下圖所示:
虛擬機(jī)的創(chuàng)建、刪除、遷移,vCenter是控制發(fā)起者,通過(guò)vCenter的開(kāi)放接口通知到nCenter,nCenter向相關(guān)的網(wǎng)絡(luò)設(shè)備下發(fā)相關(guān)的網(wǎng)絡(luò)策略的配置。
“帶內(nèi)管理”方案,目前協(xié)議標(biāo)準(zhǔn)尚未確立,各虛擬機(jī)平臺(tái)廠商均未推出相關(guān)產(chǎn)品。協(xié)議未具體規(guī)定和vCenter的接口,VSI Manager需要針對(duì)各虛擬機(jī)平臺(tái)進(jìn)行適配。因此,目前還難以實(shí)際應(yīng)用。
“帶外管理”方案,各虛擬機(jī)平臺(tái)廠商均提供開(kāi)放接口,nCenter按照開(kāi)放接口適配各虛擬機(jī)平臺(tái),是開(kāi)放合作的方案。
采用“帶外管理”方案,不用等待虛擬機(jī)平臺(tái)支持802.1Qbg標(biāo)準(zhǔn)的VDP,現(xiàn)在就可以用虛擬機(jī)平臺(tái)的開(kāi)放接口,實(shí)現(xiàn)虛擬機(jī)的網(wǎng)絡(luò)感知。
因此,華為nCenter采用了“帶外管理”方案,開(kāi)放支持VMware、Citrix Xen,以及微軟Hyper-V等虛擬化平臺(tái)。
繁忙的機(jī)場(chǎng)需要高效的調(diào)度技術(shù)
nCenter向網(wǎng)絡(luò)設(shè)備下發(fā)策略配置,可以采用命令行、SNMP或NETCONF。但在原型測(cè)試中,發(fā)現(xiàn)性能只能達(dá)到每秒10~20個(gè)虛擬機(jī)上線。采用RADIUS協(xié)議,原型測(cè)試結(jié)果能夠達(dá)到每秒200個(gè)虛擬機(jī)上線。這個(gè)性能能夠滿足多大規(guī)模的虛擬機(jī)“起降”呢?
讓我們來(lái)計(jì)算一下,假設(shè)有N個(gè)物理服務(wù)器,其中1/2忙,每個(gè)忙的服務(wù)器需要將4個(gè)VM(測(cè)試數(shù)據(jù),受限于帶寬和CPU能力)遷移出去,每個(gè)虛擬機(jī)的遷移時(shí)間為3分鐘(180秒)。則每秒處理虛擬機(jī)遷移數(shù)量為:N/2×4/180。
如果是1萬(wàn)臺(tái)物理服務(wù)器,則每秒處理虛擬機(jī)遷移數(shù)量為:10000/2×4/180=111。
200個(gè)虛擬機(jī)每秒的處理性能,可以滿足:200×180/4*2=18000臺(tái)物理服務(wù)器的云計(jì)算環(huán)境。
nCenter采用RADIUS協(xié)議,能夠滿足近2萬(wàn)臺(tái)物理服務(wù)器的云計(jì)算環(huán)境虛擬機(jī)突發(fā)大規(guī)模“起降”。
虛擬機(jī)“起降”
在虛擬機(jī)“起降”的過(guò)程中,nCenter負(fù)責(zé)網(wǎng)絡(luò)策略的遷移,和虛擬機(jī)平臺(tái)vCenter配合,保證了流程處理的及時(shí)、準(zhǔn)確和自動(dòng)化。
下圖是虛擬機(jī)遷移的流程:
遷移前的拓?fù)洌簻?zhǔn)備將“Purple”這個(gè)VM遷移到服務(wù)器.52上
① vCenter啟動(dòng)VM遷移。
② 進(jìn)行VM遷移。
③ vCenter通過(guò)開(kāi)放接口通知nCenter遷移開(kāi)始。
④ nCenter通知目的TOR交換機(jī)VM上線,上線信息中包含VM的身份信息VM的MAC地址、VLAN信息、應(yīng)用的策略模板ID。
⑤ 目的TOR通過(guò)RADIUS協(xié)議向nCenter申請(qǐng)VM策略(ACL、QoS、DHCP Snooping綁定表)。
⑥ nCenter內(nèi)置的RADIUS服務(wù)器響應(yīng)目的TOR的申請(qǐng),將VM綁定策略應(yīng)答給目的TOR,目的TOR收到后,解析出VM的策略,完成轉(zhuǎn)發(fā)配置。
⑦ vCenter通過(guò)開(kāi)放接口通知nCenter遷移完成。
⑧ nCenter通知源TOR交換機(jī)VM下線。
⑨ 源TOR接收到下線通知,刪除本地策略的同時(shí),通過(guò)RADIUS的用戶下線接口通知RADIUS服務(wù)器更新用戶在線狀態(tài)。
遷移后的拓?fù)洌禾摂M機(jī)“Purple”已經(jīng)成功遷移到服務(wù)器.52上
華為虛擬感知解決方案總結(jié)
華為虛擬感知解決方案以nCenter為核心,和各種虛擬化平臺(tái)vCenter開(kāi)放兼容,在接入交換機(jī)上及時(shí)下發(fā)靜態(tài)配置、動(dòng)態(tài)表項(xiàng),實(shí)現(xiàn)了對(duì)服務(wù)器虛擬化環(huán)境的全面支持,通過(guò)開(kāi)放高效的網(wǎng)絡(luò)“指揮塔”,真正建立起供虛擬機(jī)自由“起降”的“云機(jī)場(chǎng)”。
讓我們回顧一下前面分析的網(wǎng)絡(luò)和虛擬機(jī)配合的問(wèn)題:
管理界面:系統(tǒng)管理員只需要管理服務(wù)器、虛擬機(jī),網(wǎng)絡(luò)管理員負(fù)責(zé)管理虛擬交換機(jī)、物理交換機(jī)、虛擬機(jī)的網(wǎng)絡(luò)屬性,管理界面清晰。
可視運(yùn)維:nCenter提供虛擬機(jī)、虛擬交換機(jī)、物理服務(wù)器、物理交換機(jī)的一體化拓?fù)湟晥D,方便故障定位。
虛擬感知:虛擬機(jī)創(chuàng)建、遷移,都能夠得到及時(shí)感知、處理,網(wǎng)絡(luò)開(kāi)通速度快,和虛擬化平臺(tái)、服務(wù)器的兼容性好。
結(jié)束語(yǔ)
華為虛擬感知解決方案,為虛擬機(jī)的應(yīng)用打通了網(wǎng)絡(luò)之“脈”,助力數(shù)據(jù)中心進(jìn)一步擴(kuò)大虛擬機(jī)的應(yīng)用,降低IT成本,提高IT效率。相信在不久的將來(lái),一定能夠建設(shè)起來(lái)完全虛擬化、自動(dòng)化、高效的云計(jì)算基礎(chǔ)設(shè)施,以IaaS的方式支持大容量、多樣化的業(yè)務(wù)應(yīng)用系統(tǒng),更好的滿足支撐業(yè)務(wù)運(yùn)營(yíng)創(chuàng)新發(fā)展的需要。