世上的事兒往往讓人始料不及,作為光傳輸介質的“以太”已經(jīng)被證明子虛烏有,但是以此命名的“以太網(wǎng)”卻一直在茁壯成長。以太網(wǎng)從各種網(wǎng)絡傳輸技術中一路過關斬將,不僅成為主流,而且速度有了長足的進步。
現(xiàn)在觀看上世紀七十年代的電影,其中提到的技術實在是差強人意,但其中孕育著很多技術的初始。以太網(wǎng)就在其中。雖然它誕生的時候只有3Mbps,這個速度在現(xiàn)在看來就好像蝸牛爬行一樣,但在當時,雖然“這個數(shù)據(jù)傳輸速度比計算機訪問主記憶體要慢,但已經(jīng)夠用了”。鮑勃·麥特考菲(Bob Metcalfe)和其他施樂公司(Xerox)帕羅奧圖研究中心(Palo Alto Research Center, PARC)的員工在回憶的時候說。
從3Mbps到現(xiàn)在最高的標準IEEE 802.3ba 支持40/100G速度,成長的空間以萬來計算。我們暫且忽略在這過程中的種種,且來看看今天異軍突起的40G網(wǎng)絡吧。現(xiàn)在,40G產(chǎn)品已經(jīng)開始量產(chǎn),首批用戶已開始試水這些產(chǎn)品,但大量的部署還沒有開始。
40G以太網(wǎng)在現(xiàn)在和不遠的未來,都會對用戶產(chǎn)生深遠的意義。這個時刻表在10G以太網(wǎng)網(wǎng)卡集成到服務器的時候,已經(jīng)被無限迫切地拉到眼前。從設備角度來看,核心交換機高密40GE單板(至少20*40GE)已經(jīng)是大勢所趨,尤其在數(shù)據(jù)中心交換機領域,40GE時代已經(jīng)到來,華為技術專家表示。
越來越有意思的40G以太網(wǎng)市場
40G以太網(wǎng)從誕生之初就頗為有趣,與百兆、千兆到萬兆的以太網(wǎng)以10為階梯升級不同,它是10G以太網(wǎng)的四倍,并且是與100G以太網(wǎng)標準同時推出。這似乎是給了網(wǎng)絡廠商和用戶一個選擇:到底是40G還是100G?這在當時是一個問題,在隨后的幾年時間里仍然是一個問題。
從不久之前做的100G市場和應用狀況調查來看,目前100G的應用尚處于萌芽階段,在運營商領域剛剛開始嶄露頭角,在企業(yè)網(wǎng)中實際應用還是星星之火,國內尚未有實例。與此對應的是40G網(wǎng)絡市場的風生水起。
從現(xiàn)在的市場情況來看,Extreme和戴爾可謂占了天時,但其他廠商的發(fā)布也并沒有晚多少。思科、瞻博網(wǎng)絡、阿爾卡特朗訊、H3C、銳捷等廠商都陸續(xù)發(fā)布了產(chǎn)品,新興廠商Arista和Mellanox解決方案也特征鮮明。最近的消息是華為在剛剛落幕的Interop 2012上發(fā)布了CloudEngine系列數(shù)據(jù)中心交換機,性能參數(shù)惹人注目。
之前選擇100G以太網(wǎng)作為主攻對象的廠商也已經(jīng)陸續(xù)推出了自己的40G以太網(wǎng)產(chǎn)品,而一些尚未發(fā)布40G產(chǎn)品的廠商似乎也開始醞釀。從分歧到認可,40G以太網(wǎng)的發(fā)展可謂頗為曲折。
另外一件有意思的事情是在去年年底發(fā)布的40G以太網(wǎng)市場數(shù)據(jù),從上榜名單來看,也頗值得玩味。40G以太網(wǎng)市場是不是市場洗牌的新機會?恐怕很多人的心里都在打鼓。據(jù)去年12月Dell’Oro發(fā)布的第一份40G市場報告顯示,在2011年第三季度,Extreme占據(jù)了40G模塊化以太網(wǎng)交換機市場的最大份額。
供應商中僅戴爾和Extreme在三季度就取得了模塊化40G產(chǎn)品的收益。當然,發(fā)布時間的早晚之分,市場尚未成長是形成這個數(shù)據(jù)非常重要的原因,因此它還不足以說明全部情況。但這種數(shù)字已經(jīng)讓人很有遐想的空間。
此外,從IDC的數(shù)據(jù)來看,2011年全球以太網(wǎng)交換機收入達到210億美元,其中第四季度收益為60.06億美元,同比增長5.5%,環(huán)比增長1.2% 。
10G以太網(wǎng)市場的銷售非常亮眼,同比增長26.5%,而同期的端口發(fā)貨量的增長則高達一倍多。但增長更為迅速的卻是40G以太網(wǎng),2011年第四季度達到12000端口。
因此,40G產(chǎn)品雖然實際數(shù)量并不占優(yōu)勢,但是成長的曲線卻非常動人。可以預想到在不遠的將來,數(shù)據(jù)中心交換機廠商將會加大40G以太網(wǎng)市場的拓展力度。
40G以太網(wǎng),這是一場任何廠商都不愿意錯過的“盛宴”。
盤點40G以太網(wǎng)產(chǎn)品
站在現(xiàn)在這個時間點上,40G交換機已經(jīng)不在再新鮮。那產(chǎn)品盤點從哪里開始呢?不如就從在去年Dell’Oro報告中提到應用最多的Extreme開始吧。
Extreme的40G以太網(wǎng)產(chǎn)品包括核心層和匯聚層。核心層的產(chǎn)品是BlackDiamond 8900系列和BlackDiamond X8產(chǎn)品,匯聚層的產(chǎn)品是Summit X670系列和Summit X650系列。重頭戲是在Interop 2011上重點推薦的BlackDiamond X8和Summit X670系列。BlackDiamond X8可支持線速192個40GbE端口,或線速768個10GbE端口。可以提供每插槽1.28 Tbps帶寬或每交換機20+Tbps交換容量。Summit X670系列包括兩個型號:Summit X670V和Summit X670。
其中,Summit X670V通過配置可選的VIM-40G4X擴展模塊,可支持額外的4個40G QSFP+接口。使用這個擴展模塊,可以在連接48個服務器端口的同時使用最多4個40G端口來上連。
為戴爾(Force10)贏得40G市場的產(chǎn)品主要是Z9000和S4810。其中,Z9000產(chǎn)品可支持32端口40 GbE QSFP+,或借助分支光纜實現(xiàn)128端口10 GbE SFP+。S4810這款產(chǎn)品48端口的10GbE產(chǎn)品,同時提供4個40GbE上行端口。非常值得一提的是,Z9000的40G端口設備的最大功率不到800W。另外S4810的10G端口最大功率也只有220W。這在數(shù)據(jù)中心強調高能效、節(jié)能減排的今天,顯得尤為有意義。
思科作為行業(yè)內舉足輕重的廠商,其在40G以太網(wǎng)的發(fā)布并不靠前。事實上,直到今年一季度,思科才宣布擴展交換機的40/100G功能。其中,Catalyst 6500交換機系列新增了Catalyst 6900系列40G以太網(wǎng)接口模塊,該模塊允許交換機支持44個40G端口。Nexus 7000則提供兩種模塊:兩個端口的100G以太網(wǎng)卡,以及提供32個無阻塞100G以太網(wǎng)端口。
此外兩個端口的40G以太網(wǎng)模塊可以為交換機提供96個無阻塞40G以太網(wǎng)端口。目前,這些升級產(chǎn)品還在陸續(xù)上市中。雖然上市時間并不靠前,但思科方案非常全面,整個方案不僅包括交換機,而且包括布線產(chǎn)品、網(wǎng)卡產(chǎn)品。思科的UCS服務器M3版本也包括有40G的網(wǎng)卡。除此之外,Nexus 3016作為一款定位為超級時延交換機,其本身也已經(jīng)有16個40G的端口。
網(wǎng)絡老牌勁旅阿爾卡特朗訊在40G產(chǎn)品的發(fā)布上盡管沒有占得先機,但漲勢良好。“現(xiàn)在全球很多國家和行業(yè)已經(jīng)開始試用我們的40G產(chǎn)品。40G在2011年底按計劃面市,完成了我們在2011年中獲取Interop數(shù)據(jù)中心大獎的創(chuàng)新架構中40G高速并行互連的POD藍圖,實現(xiàn)了我們對市場和業(yè)界的承諾。”
阿爾卡特朗訊數(shù)據(jù)中心及云網(wǎng)絡亞太區(qū)市場戰(zhàn)略及市場開發(fā)總監(jiān)張宇峰這樣表述:“在板卡方面,阿爾卡特朗訊的產(chǎn)品主要有OS-HNI-U6和OS-QNI-U3兩種。其中,OS-HNI-U6是混合板卡,支持2 x 40G + 4 x 10G或1G (10G/1G 取決于用戶選用的Tranciever類型);OS-QNI-U3是純40G板卡,支持3 x 40G。”
作為網(wǎng)絡新秀的Arista在2011年年初,也推出了40G系列產(chǎn)品:DCS 7050S-64、DCS 7050T-64和DCS7050Q-16。其中,DCS 7050S-64 具有4個40GbE QSFP+端口和48個10GbE SFP+端口,可以作為中小型數(shù)據(jù)中心主干(Spine)或接入(Leaf)交換機。DCS 7050T-64具有4個40GbE QSFP+端口和48個1G/10GBase-T端口,可以作為中小型數(shù)據(jù)中心1/10GbEBase-T 服務器接入(Leaf)交換機。 DCS7050Q-16具有16個40GbE QSFP+端口和8個10GbE SFP+端口,可以作為中小型數(shù)據(jù)中心主干(Spine)交換機。
此外,留下40G接口為未來升級擴容留出足夠的空間是很多廠商的做法。目前,H3C已經(jīng)在S10500、S7500E、S5820V2產(chǎn)品上支持40G接口。“后續(xù)到2013年,H3C會在更多的產(chǎn)品系列上支持40G,包括100G端口。” H3C解決方案部副部長盧國強說。
銳捷網(wǎng)絡的40G發(fā)布是在2011年1月,主要是RG-S12000系列和S6200系列,其中RG-S12000有十槽位和六槽位作為選擇(S12010和S12006)。RG-S6200-48XS固化了32 個萬兆SFP+光口,包含1個擴展槽。1個擴展槽可以容納16口SFP+萬兆模塊或4口40G模塊。整機可支持48口萬兆或 32口萬兆+4口40G線速。
Mellanox是從InfiniBand轉而進入以太網(wǎng)的。在40G的問題上,“Mellanox提供了完整解決方案,包括芯片、網(wǎng)卡、交換機、線纜和軟件產(chǎn)品。” Mellanox亞洲區(qū)技術總監(jiān)宋慶春對Mellanox的一攬子解決方案非常自信:“Mellanox已經(jīng)在全世界部署了大量的高速 InfiniBand大型系統(tǒng),積累了大量的部署經(jīng)驗,40GE以太網(wǎng)的部署對于Mellanox會較輕松。”
目前,Mellanox已經(jīng)出貨的網(wǎng)卡有單端口PCIe3.0 40GE網(wǎng)卡MCX313A-BCBT和雙端口PCIe3.0 40GE網(wǎng)卡MCX314A-BCBT。在交換機產(chǎn)品上,提供36端口40GE交換機SX1036,以及48端口10GE和12端口40GE交換機SX1024。
談到為什么會設計這么多品類的產(chǎn)品,宋慶春指出:“40GE采用的是4個10G的通道同時傳輸數(shù)據(jù),如何避免四個傳輸通道的串擾,確保信號傳輸?shù)钠焚|,需要從網(wǎng)卡、線纜、交換機和軟件四個層面來保證。”
瞻博網(wǎng)絡的QFabric在剛剛推出之時,曾造成業(yè)界一片嘩然,完全一層的網(wǎng)絡設計給很多人帶來了靈感。當時與QFabric戰(zhàn)略同時發(fā)布的QFX3500是一款48端口10G的ToR交換機,有4個40G的上聯(lián)端口。
華為在本月發(fā)布的CloudEngine系列交換機在Interop 2012上贏得了非常多的好評。CloudEngine系列包括CE12800核心交換機、CE6800和CE5800 柜頂交換機。其中CloudEngine 12800系列核心交換機整機最大支持48Tbps交換容量,支持每槽位2Tbps的帶寬。整個系列支持網(wǎng)絡虛擬化,支持計算、存儲、網(wǎng)絡融合等。
端口之外的升級和突破
就產(chǎn)品比較而言,端口密度是一個最容易看到的比較項,另外一些特征卻并不明顯,但是非常重要。隨著網(wǎng)絡的發(fā)展,網(wǎng)絡融合與簡化成為大勢所趨。相較于10G以太網(wǎng),40G以太網(wǎng)在這些方面的顯然要有所突破。
“與傳統(tǒng)的網(wǎng)絡產(chǎn)品相比,BlackDiamond X8不只是在端口密度和交換性能上有非常大的突破。事實上,BlackDiamond X8在架構的創(chuàng)新和優(yōu)化上有突破性進展。比如,BlackDiamond X8是沒有背板的,每個線卡直接和矩陣進行交換,這就使得速度非常快,時延很低。” Extreme Networks網(wǎng)絡顧問蘇和這樣說。
此外,BlackDiamond X8在新技術支持上還包括存儲融合技術,如數(shù)據(jù)中心橋接(DCB),實現(xiàn)LAN-SAN融合,用于iSCSI、NFS、CIFS,以及支持FSB功能的FCoE等。模塊化ExtremeXOS操作系統(tǒng)則保證了彈性和智能虛擬化方面的能力。
事實上,DCB、TRILL、SPB,以及FCoE、802.Qbg等特性并不是某一家的專利,而是一些正在起草或者已經(jīng)通過的網(wǎng)絡標準。應用對網(wǎng)絡的要求是多方面的,速率只是其中之一。當然,是最容易識別的一個要求。虛擬化、云計算的趨勢對網(wǎng)絡的簡化以及融合提出了更高的要求,現(xiàn)在新的網(wǎng)絡架構不斷涌現(xiàn),但是開放、大二層、網(wǎng)絡融合是基本的共識。
這些新增的網(wǎng)絡特性與40G并沒有必然的聯(lián)系,但是卻是40G及更高的100G產(chǎn)品比較中不可或缺的選項,因為這些特征往往與云計算及數(shù)據(jù)中心相關。
部署40G:你不得不考慮的那些事兒
40G網(wǎng)絡設備已經(jīng)呈現(xiàn),但在實際選擇和部署過程中,用戶要搭建一個網(wǎng)絡需要考慮的還有很多。比如,自己在面對10G、40G以及未來的100G網(wǎng)絡時應該如何選擇?再比如,在實際部署過程中還要考慮配套系統(tǒng)的情況,布線、電源和機柜都需要與之進行匹配。
什么樣的用戶會選擇40G網(wǎng)絡呢?事實上,“最重要的因素還是用戶網(wǎng)絡實際的業(yè)務需求,根據(jù)目前的流量情況選擇適當?shù)慕涌趲挕A硗庥脩粢惨浞挚紤]網(wǎng)絡未來的升級擴容能力。” 盧國強的回答從當下和未來的角度進行了闡釋。拿什么作為界定的標準呢?
“一般我們看的是萬兆端口的密度,在接入層萬兆端口密度提升以后,核心層采用40G連接是數(shù)據(jù)中心發(fā)展的必然趨勢。” 銳捷網(wǎng)絡有限公司產(chǎn)品營銷部數(shù)據(jù)中心產(chǎn)品經(jīng)理蔣波這樣說。
Arista國際銷售區(qū)域副總裁Mark Foss則從幾個方面給出了比較細致的解答:“首先,要看網(wǎng)絡帶寬的需求;其次要考慮組網(wǎng)的實際情況,設備間互聯(lián)距離如果小于150米,可以考慮40GbE/100GbE,若互連距離大于150米以上,那么目前還是主要考慮采用10GbE;再次要考慮布線的靈活性,為了布線方便、簡潔,可以首先考慮10、40或100GbE。
同時,還要考慮互連采用雙絞線、雙同軸電纜還是光纖。如要采用現(xiàn)有雙絞線布線系統(tǒng)連接服務器,就可首先考慮采用10GbE。最后,端口密度以及每個端口的平均投資也是不可忽略的內容。”
在Mark的總結中提到了布線,針對不同的距離和靈活性的要求給出了并不相同的建議,這是什么原因呢?布線領域的專業(yè)廠家是最有發(fā)言權的。
“目前,10G以太網(wǎng)的光纖和銅纜傳輸標準都已經(jīng)發(fā)布,但是就40G以太網(wǎng)傳輸而言,現(xiàn)在是只有光纖標準而沒有銅纜標準。”美國西蒙公司大中國區(qū)技術部經(jīng)理陳宇通這樣說。
從布線的發(fā)展來看,一般來說,銅纜標準總是落后于應用標準和光纖標準的。歷史上的10G就是如此。現(xiàn)在國際布線組織TIA和ISO都已經(jīng)成立了銅纜工作組來進行標準的研究工作。TIA的名稱是TIA 568-C.2-1,ISO的名稱是ISO 11801-99-X,TIA標準提到的是100歐姆支持下一代布線規(guī)范,但是并未明確40G還是100G,而ISO則明確是在40G傳輸領域。在前文中多次提到的QSFP+,實際上是短距離傳輸?shù)囊环N選擇。
一般來說,是用來連接ToR交換機的,也就是距離不超過一個機柜。“QSFP+和SFP+正好彌補了現(xiàn)在的雙絞線支持真空期”。陳宇通這樣認為。當然,現(xiàn)在也有人認為未來QSFP+和SFP+會取代現(xiàn)在的雙絞線布線。在不久之前Intel發(fā)布的一份預測顯示,QSFP+和SFP+的出貨在逐漸下降,而雙絞線在逐漸上升,到2013年,QSFP+與SFP+與10GBase-T會基本持平。
既然布線的情況是這樣,用戶應該如何選擇呢?“短距離可以選擇QSFP+和SFP+等,長距離可以考慮光纖。多模光纖OM3標準支持100米,而OM4的標準則是150米,單模光纖則不會遇到傳輸距離的問題。”陳宇通這樣建議。但針對現(xiàn)在高密度、高性能、更長距離、更高速傳輸?shù)纫螅琈PO/MTP會是比較合理的選擇。
布線問題不能忽視,物理基礎設施的升級更為重要。顯然,數(shù)據(jù)中心供電和制冷系統(tǒng)的可靠性是整個IT系統(tǒng)正常運轉的前提。“在很多低密度的數(shù)據(jù)中心中,單個機柜的功率密度一般低于3KW,隨著虛擬化的普及,高密度設備應用單位機柜的功率密度已經(jīng)提升至5~8KW,有些數(shù)據(jù)中心機房的功率甚至可以達到30~50KW。例如:天津天河一號超算中心單個機柜的功率就達50KW,如果依靠傳統(tǒng)的高架地板下送風,物理基礎設施架構顯然無法滿足需求。”施耐德電氣大中華區(qū)戰(zhàn)略市場總監(jiān)謝衛(wèi)剛用數(shù)字簡單而直接表明了現(xiàn)在的問題。
“采用水平送風,緊靠熱源的制冷,對于低密度機房中的高密度部署采用熱通道遏制系統(tǒng),摒棄傳統(tǒng)的高架地板模式是比較切實的方案。”這是來自數(shù)據(jù)中心物理基礎設施廠商的中肯建議。而高效、綠色節(jié)能也已經(jīng)成為數(shù)據(jù)中心解決方案的一項重要指標。
從一個案例談開去
現(xiàn)在都有哪些客戶開始使用40G了呢?“Dell Force10 目前在全球和中國有大量的成功部署案例, 主要應用在Web2.0、高性能計算、云計算中心、運營商高密度數(shù)據(jù)交換等行業(yè)應用。”戴爾大中華區(qū)網(wǎng)絡高級市場經(jīng)理姚鑫浩這樣說。事實上,戴爾并不是特例,Web2.0、高性能計算、云計算中心、運營商高密度數(shù)據(jù)交換這些用戶群已出現(xiàn)在所有廠商的用戶名單中。
我們不妨從一個實際的案例說起:位于南京的中國石化石油物探技術研究院網(wǎng)絡。在新擴容的網(wǎng)絡中,它使用了三臺Extreme的BlackDiamond X8,這三臺設備之間是用兩條40G進行鏈路捆綁,互聯(lián)帶寬80Gbps。和其他集群之間則采用多個10G捆綁,和比較大的集群用8個10G捆綁。所以大節(jié)點之間的鏈路互聯(lián)帶寬為80Gbps。
與需求不斷增長的用戶類似,物探院原本網(wǎng)絡中存在各個廠商的各種產(chǎn)品,在做擴容的時候,第一個需要面對的問題就是如何把過去的網(wǎng)絡、存儲等都整合到同一個架構上來,這往往也是一個網(wǎng)絡優(yōu)化的過程。“在實際操作中,我們發(fā)現(xiàn)三臺X8上的結構是非常類似的,每個上面都有計算、存儲和管理節(jié)點。于是,我們就考慮把資源進行整合,計算資源移在一起形成計算云。
另外把一些提供給多個集群使用的共享存儲整合到一起,形成存儲云。這樣的好處是資源的合理調配,并不相互影響,形成一個整體的云解決方案。”蘇和介紹說。
在這個案例中,有幾個方面值得關注。首先,是原有網(wǎng)絡在擴容時,不同品牌產(chǎn)品之間的互通需要整體的方案。其次,擴容并非是線性的簡單擴展,往往伴隨著的是網(wǎng)絡結構的優(yōu)化。而這部分優(yōu)化功能對網(wǎng)絡而言更為重要。
網(wǎng)絡傳輸?shù)陌l(fā)展可謂是“一筆一萬里,一劃一重天,日新月異在發(fā)展”。在其背后是業(yè)務需求的發(fā)展,更是人們對更高效生活的訴求。40G網(wǎng)絡只會是一個里程碑,如同100M、1000M和10G一樣。但是,伴隨著每一塊里程碑的確定,IT給生活帶來的卻是越來越大的驚喜。