VM及其遷移驅動著數據中心大規模二層網絡的發展,隨著網絡規模的擴大,網絡設備數量隨之增大,網絡管理成為數據中心基礎設施管理中的一個棘手問題。同時,現代大數據中心對網絡提供給服務器的端口密度也提出了更高的要求,例如萬臺服務器的規模已是互聯網數據中心現實中的普遍需求。端口擴展技術作為提高接入設備端口密度的一種有效手段逐漸成熟并獲得了業界的認可。VCF縱向虛擬化技術(Vertical Converged Framework,縱向融合框架,以下簡稱VCF)即是該技術的一種實現方式,滿足數據中心虛擬化高密接入并可以簡化管理。Cisco公司相類似的技術是FEX。
VCF在縱向維度上支持對系統進行異構擴展,即在形成一臺邏輯虛擬設備的基礎上,把一臺盒式設備作為一塊遠程接口板加入主設備系統,以達到擴展I/O端口能力和進行集中控制管理的目的。為敘述方便,后文會把縱向VCF的建立和管理過程等與IRF傳統的橫向相關功能進行對比。
IRF(橫向)堆疊拓撲主要有鏈型和環形兩種。設備按角色可分為Master和Slave。Slave在一定條件下可轉變為Master,兩者業務處理能力是同一水平的,只不過Slave處于“非不能也,實不為也”的狀態。
對于VCF(即縱向)來說,設備按角色分為CB(Controlling Bridge)和PE(Port Extender)兩種。CB表示控制設備,PE表示縱向擴展設備,即端口擴展器(或稱遠程接口板)。通常來說,PE設備的能力不足以充當CB,管理拓撲上難以越級,處于“非不為也,實不能也”的狀態。
如圖1所示,左邊是框式設備或者是盒式設備各自形成IRF堆疊橫向虛擬化系統,有環形堆疊和鏈型堆疊(虛線存在的情況)兩種拓撲形式;右邊是框式設備與盒式設備形成VCF縱向虛擬化系統(簡稱 VCF Fabric),為便于對比CB由IRF堆疊組成。
一般來說,對于IRF(橫向)堆疊,控制平面由Master管理,轉發能力和端口密度隨著Slave增加而增加。對于VCF(縱向) Fabric,控制平面由CB(或IRF中的Master)管理,端口密度隨著PE增加而增加,但總體上轉發能力仍取決于CB設備。
VCF可與IRF技術組合使用, 所形成的系統具有單一管理點、跨設備聚合以及即插即用等優點,同時加強了縱向端口擴展能力。
1 VCF技術機制
對VCF來說,CB角色可以由處理能力較強的盒式設備和框式設備承擔,也可以是基于IRF技術建立的橫向堆疊。PE一般來說是低成本的盒式設備。實際應用中,CB角色多為橫向堆疊,這樣有益于PE上行冗余。以下技術說明以此為主。
1. 拓撲管理
圖2中CB角色是一個典型的IRF堆疊。PE角色為盒式設備。CB與PE互聯口稱為縱向 Fabric口,縱向 Fabric口是一個邏輯概念,可以是一個物理端口或者多個物理端口組成的聚合口。CB與PE之間可以使用專用線纜或光纖連接。
PE根據組網需要可以連到一臺或多臺CB設備上,PE與PE之間不能再有其他連線。從模型上說,PE相當于CB的一塊遠程接口板。從功能上看,CB與PE間的縱向 Fabric連接相當于框式設備的“背板”。從管理上看,所有CB和PE設備組成一個堆疊,對外是一臺設備,一個管理點。
整個拓撲建立包括兩個方面:一方面是多臺CB設備依據IRF相關規則和拓撲計算建立橫向堆疊;另一方面是CB通過縱向 Fabric口向外發送HELLO報文,根據PE反饋信息建立縱向 Fabric。
如圖3所示,縱向 Fabric建立過程主要分為四步:
第一步,完成擴展板編號(Slot-ID)的分配和獲取。CB上VCF Fabric口使能后會周期性地發送探測報文,一旦Slot-ID分配完成則停止。
第二步,完成軟件的加載。包括PE發送加載請求,CB提供版本文件描述信息,以及確認加載和加載完成等幾個子過程。這其中,Bootware(類似于個人電腦上的BIOS)和App(即主機軟件)的加載實現過程類似。
第三步,PE以下載后的版本重啟并完成在CB的注冊。
最后,CB向PE下發配置信息。
2. VCF Fabric連接方式
如前所述,PE到CB間縱向 Fabric連接類似于框式設備的“背板”,為了增加帶寬并使上下行流量保持合適的收斂比,兩者間鏈路通常由多個物理線路組成,邏輯上可采用HASH方式來實現。這樣一條鏈路Down,不會引起掛服務器的下行端口Down,但帶寬變小,相關流量也會重新進行HASH計算并分配到剩余鏈路上(如圖4所示)。
3. PE管理
橫向配置、Master選舉以及整個堆疊建立和維護與IRF沒有縱向功能前完全一樣。縱向VCF加上PE后,建立過程相對復雜一些,但本質上所有CB和PE形成一個單一的邏輯實體,可以通過任何一臺CB上的用戶管理接口,如Console口、Telnet或者網管口來進行配置和管理。
IRF(橫向)系統使用成員編號(Member-ID)來標識和管理成員設備,在一個IRF中所有設備的成員編號是唯一的。成員編號被引入到端口編號中,便于用戶配置和識別成員設備上的接口。類似地,在VCF(縱向)中,系統使用擴展板編號(Slot -ID)來標識和管理縱向擴展設備,在整個 系統中擴展板編號也是唯一的且同樣被引入到端口編號中。如果CB是框式設備,這個編號也絕對不能與框式設備上已有接口板(LPU)的編號重復。在使用上兩者機制稍有區別,成員編號(Member-ID)需要設備重啟才能生效;而擴展板編號(Slot -ID)在CB上配置后可立即生效。
PE加入。當VCF系統有新的成員設備加入時,會根據系統所處狀態或者PE設備的狀態采取不同的處理過程。假設橫向IRF已配置,且在CB上已為PE分配了Slot -ID。(1)此時PE以缺省出廠配置可即插即用。正常運行的縱向 VCF系統,當因某些外在因素引起斷電或重啟,系統不需要干預的情況下將自動恢復。(2)運行過程中,PE可以通過縱向 Fabric口隨時接入系統,CB會自動計算拓撲以防止新的PE接入時產生環路。從虛擬化的角度來看,這個過程相當于框式設備的接口板插入。當然,由于此時的“背板”鏈接是動態端口,需要進行拓撲計算以阻斷環路;而實際的框式設備在初始化時已經完成了這一動作。
PE離開。PE離開相對來說簡單一些,當CB與PE鏈接電纜拔出或者對應端口Down掉,系統即產生遠程接口板離開事件。這一過程與框式設備的接口板拔出基本一致。
4. 盒式設備作為CB
盒式設備充當CB并下掛PE時,橫向CB通過IRF互聯形成的虛擬設備相當于一臺框式分布式設備主控板;縱向PE通過VCF互聯形成虛擬框式設備的分布式設備接口板(或稱線卡)。橫向IRF互聯電纜模擬了交換背板中主控板互聯,IRF中的Master相當于虛擬設備的主用主控板,Slave設備相當于備用主控板。同樣地,縱向VCF的CB與PE間互聯電纜模擬交換背板中接口板到背板的鏈接,PE設備相當于虛擬設備的I/O接口板。如圖5所示,右邊為虛擬化設備的邏輯視圖。
5. 框式設備作為CB
框式設備充當CB并下掛PE時,對于橫向,框式設備通過IRF互聯形成的虛擬設備也相當于一臺框式分布式設備,此時該虛擬框式設備擁有更多的主控板和接口板;對于縱向,PE通過VCF互聯形成虛擬框式設備的分布式設備接口板。橫向IRF中的Master的主用主控板相當于虛擬設備的主用主控板,Master的備用主控板以及Slave的主用、備用主控板均相當于虛擬設備的備用主控板(同時可擔任接口板的角色);Master和Slave中的接口板繼續擔當接口板的角色,其中接口板的部分或者全部端口與PE相連。同樣地,對于縱向,盒式PE通過VCF與CB相連(一般來說是框式CB的接口板),PE設備相當于虛擬設備的I/O接口板(如圖6所示,右邊為虛擬化設備的邏輯視圖)。
2 VCF系統管理
上文已提到整個 Fabric系統可作為一個邏輯實體,通過一個IP進行管理。但是系統層面如何進行軟件版本管理,如何進行配置和如何通過即插即用來建立VCF系統的呢?
軟件版本管理。IRF在建立橫向堆疊的時候會比較版本,最終所有成員都會統一于Master的版本。對VCF來說, PE在加入堆疊時,從CB下載版本;當CB是IRF堆疊時,無論PE是否直接與Master相連,都會從Master獲取版本。因此,從結果看,整個堆疊系統版本都會與Master統一。橫向堆疊Slave獲取的版本與Master自身運行的版本是同步的;縱向 Fabric各PE獲取的是適合PE運行的部分。一般來說,CB和PE各自由不同的CPU和交換芯片等構成,因此實際上在CB(或Master)上有兩個不同功能用途的軟件包,系統啟動或運行過程中會自適應各取所需。
配置管理。整個 Fabric系統作為一個邏輯實體進行管理時,可通過IRF成員如Master或Slave的Console等進行配置;一般來說,PE不提供Console等配置口。對于VCF,當在CB上指定與物理端口(或邏輯上的聚合端口)相應的Slot-ID后,且PE已正常加入系統,此時便可通過CB對PE進行配置,例如PE上端口所屬VLAN,QoS規則等。系統保存配置后,PE對應配置信息保存在CB上。當系統重啟或者更換PE時,PE對應配置信息也從CB上下發,即PE配置可以“繼承”。
PE即插即用。PE相當于VCF虛擬化框式設備的一塊接口板,實際框式設備通過熱插拔來實現即插即用,為了實現類似功能和簡化管理,PE通過縱向 Fabric口以及縱向 Fabric連接Up/Down事件感知支持即插即用。PE“插入”虛擬框的過程同圖3縱向 Fabric建立過程,此處不再贅述。
3 VCF上層控制協議
VCF側重對CB設備進行I/O端口擴展,除了和端口密切相關的功能外,其他上層協議基本上都在CB上實現。這樣做的好處顯而易見,PE僅作為接口板插入虛擬框式設備,提高了端口密度而減少了管理網元,且系統控制管理平面上移,有利于對大二層多服務器環境下的集中控制和網絡策略管理。其次,對PE的性能規格要求不高,有利于成本控制。
CB在橫向IRF組成的Master和多個Salve是1:N備份模型,作為縱向諸多PE的管理控制單元起著冗余備份作用??v向 Fabric PE作為接口板加入,協議控制平面繼承了橫向堆疊的實現和優點。例如對三層報文TTL跳數仍只加1;支持跨PE聚合等。
4 VCF轉發平面實現
一般來說,VCF中CB設備相對PE性能更好,承擔VCF的業務數據轉發決策;而PE主要承擔CB端口擴展器角色。在VCF CB設備中,不管業務流量來自PE設備,還是來自CB設備自身的非縱向 Fabric口,都根據業務報文的目的進行查表轉發。
VCF單播轉發
VCF上行方向(即從PE到CB),來自PE的UNI口的流量,在擴展設備上不做查表轉發處理,而是將原始的業務報文直接重定向到CB設備。CB設備收到業務報文后,從其中提取擴展端口等信息,并基于該信息完成地址學習及業務控制。
下行方向。如果業務報文需要單播到PE的某UNI端口,CB設備在完成業務報文轉發決策和必要的報文修改后,通過縱向 Fabric互聯口發送到PE設備。PE收到業務報文后,從其中直接提取出端口等完成業務報文的發送。
VCF組播轉發
上行方向,即從PE向CB的報文流程同前文單播一致。下行方向,對于需要組播(廣播處理過程同組播)的業務報文,CB設備會為每個PE設備拷貝一份業務報文,通過縱向 Fabric互聯口發送到PE設備。PE收到這類業務報文后,如果是廣播報文,則在對應的VLAN內廣播業務報文;如果是組播報文,則按照組播索引查找對應的UNI端口列表復制并發送業務報文。
VCF多互聯鏈路選路機制
一般來說,CB設備和PE之間會配置多個互聯鏈路,而且IRF橫向堆疊作為CB設備時,多個互聯鏈路可以分布在不同的IRF成員設備上。
PE到CB設備的上行方向,單播和組播實現方式一致。采用HASH方式使得流量在互聯鏈路上分布更為均勻。
CB設備到PE設備的下行選路,對于單播,采用最短路徑原則,即如果CB設備是IRF,且到某PE的互聯鏈路分布在多個IRF成員上,則IRF選擇到PE的最短路徑。如果單個IRF成員與某PE有多條互聯鏈路,則在該IRF成員上進行聚合HASH選路。這一原則的出發點在于,盡可能減少對IRF本身堆疊鏈路的帶寬占用。對于組播,只選擇一個互聯鏈路發送一份組播拷貝,當同一PE下有多個用戶時,實際復制工作在PE進行。
當然,為了提升系統的轉發性能和減小延遲,某些PE也可提供本地流量轉發功能。
5 VCF架構的特點
VCF部署中的多級冗余和高可靠性
VCF支持多種CB和PE設備。就CB來說,包括框式和盒式兩種類型,都支持服務器跨PE冗余接入。特別是框式CB,由于CB通過IRF橫向堆疊組網,天然支持跨框和跨板聚合,從而為網絡冗余設計提供豐富的選擇。同時,VCF方案不僅支持虛擬接入層的冗余,而且也支持核心(匯聚)層的冗余,能更全面提升系統級的可靠性。
VCF技術的高可擴展性
VCF中CB可通過IRF橫向堆疊建立,即可由多臺設備組成。例如H3C框式高端設備最多可構建4臺設備組成的IRF堆疊,這些設備充當CB角色時也是如此。盒式設備則可構建更大規模的IRF和VCF系統。
VCF中CB角色通過不同組合可提供更大的靈活性和更好的擴展性。這一優勢能更好地支持企業或云服務運營商根據自身業務發展規模進行IT設施的平滑擴容。
L2/L3流量線速轉發
VCF中承擔CB角色的所有設備,包括框式設備和盒式設備均支持二層、三層流量的線速轉發。既不需要增加額外的板卡,而且L2/L3流量完全線速。
PE設備支持雙模式和保護用戶投資
H3C的PE設備支持兩種運行模式,即標準交換模式和PE模式。兩者模式可以通過命令行或者網管進行切換。設備出廠缺省設置為標準交換模式;當和支持VCF縱向管理的設備互連且縱向特性開啟的情況下,設備可自動感知切換到PE模式,也就是支持即插即用。
雙模式特性使得用戶可根據自身網絡系統建設組網的需要進行選擇,在不犧牲縱向設備“即插即用”等簡化管理功能的情況下,很好地保護了用戶投資。
6 總結
IT基礎設施虛擬化既是當前熱點,也是今后一段時期的趨勢。VCF技術為網絡虛擬化以及支持數據中心服務器虛擬化提供了一種思路。VCF縱向擴展技術將有助于構建大規模虛擬化網絡和簡化管理。