當大家談到提升數據中心帶寬時,時間就是一切。面臨的最大的挑戰是如何應對未來發展,以及在不久的將來數據中心能夠提供什么,并已經制定好未來發展方向與目標。
隨著越來越對新技術的問世以及越來越多的標準出臺,為數據中心提升帶寬就變得變得越來越棘手。目前數據中心的帶寬的發展介于突破與瘋狂之間,帶寬需求正在以每年25%到35%的速度飛速增長,預計這樣的增長速度還會持續幾年甚至更久。
這種增長帶來的影響會在帶寬向更高速率轉換時更為明顯。根據Dell‘Oro最近的一項研究,以太網交換機設備收入在未來十年還將持續增長,預計25G和100G端口的銷售額最大。40G端口的收入如預期的一樣在今年已達到頂峰。40G端口廣泛用于服務器連接,每個QSFP40G端口支持四個10G服務器連接。
然而,隨著服務器快速發展,新的設計將更容易消耗掉比10G上行鏈路更多的能力。因此,連接下一代服務器的帶寬將能是25G而不是40G。隨著2015年6月Mellanox宣布的世界上第一個25/100G以太網平臺的出現,設備都在向25G上轉換。此平臺支持25G和40G的服務器。但似乎25G是更可能成為下一個服務器連接速度普遍選擇。
預計到2020年,帶框容量會將翻倍,將達到50G至100G ,從而為下一代結構交換機發展奠定基礎。將串行通道速率從50G增加至100G是需要時間的,但不會像過去認為的那么長時間。數據中心在使50Gb/秒 串行鏈路和200Gb/秒 四秒鏈路成為標準這一方面已經領先一步,這些變化將持續到2020年。目前發展速度已經比預期提前許多,可能很快就會得到批準。
增長因素
導致帶寬需求激增原因很多。目前服務器密度正在以每年大約20%的速度增長,處理器能力也在逐年增長,Intel近期發布一款22核的處理器;與此同時,虛擬化密度增加30%,這推動交換機上行鏈路速度增長。
IP流量也在穩步增長,預計到2019年將以33%的復合年增長率(CAGR)增長四倍以上;由于消費者和企業云使用者的持續增長,這種增長將對全球帶寬需求會產生巨大影響。
影響數據中心帶寬的其它因素:包括預計未來五年內數據中心內部流量將增加三倍,而物聯網(IOT)的覆蓋范圍也將逐步擴大。
預計到2020年,數據中心將連接500億個物聯網的設備,所有這些設備數據都將上傳至數據中心,進行存儲、分析、處理。這樣的變化給數據中心帶來顯著的變化就是數據中心需配置更高密度的服務器,敷設更多光纖,并加速計劃、實施將核心、聚合網絡應用遷移到配置更高帶寬上,以此才能應對物聯網高速發展。
改變網絡架構
圖2:傳統的三層拓撲結構
圖3:葉脊拓撲結構
數據中心流量變化不僅是速度和量的變化,還有方向的變化,數據流方向已從縱向轉向橫向。傳統數據中心體系結構是三層拓撲結構。(如圖2所示)
接入層-客戶端連接網絡;匯聚層-交換機接入;核心層(core layer):通常位于主分布區域(MDA ) ,核心層是交換機和路由匯聚并連接內外網絡,連接各種交換機的聚合層。在大型和超大規模的數據中心中,聚合層(aggregation layer)通常位于中間分布區域(RDA )。
在小型數據中心中,通常位于水平分布區域(HDA )或設備分布區域( EDA )。三層結構為可擴容的數據中心網絡提供預測模型,但在支持低延遲、虛擬化應用方面表現卻不盡如人意。
數據中心網絡傳輸模式是不斷在改變的。大多數網絡都是縱向(north-south)的傳輸模式,主機與網絡中的其它非相同網段的主機通信都是通過設備-交換機-路由到達目的地。同時,在同一個網段中,主機通常連接到同一臺交換機,可以直接相互通訊。
隨著技術的發展,這種技術的瓶頸也不斷涌現,導致越來越多的網絡工程師放棄這種結構的網絡。那么有什么其他的網絡可以代替這種三層結構呢?答案就是leaf-spine葉脊拓撲網絡結構。
葉脊拓撲網絡結構(如圖3所示)。葉脊結構是一個簡化型網絡,移動數據可以橫向流動,通過增加一層平行于主干縱向網絡結構的橫向網絡結構,在這層橫向結構上增加相應的交換網絡,這種生成樹模式是三層網絡結構無法做到的。
這是類似于傳統的三層設計,只是在脊層多個交換設備。在葉脊拓撲結構中,所有鏈接都是用來轉發流量, 也使用通用的生成樹協議,如多連接透明互聯協議(TRILL)或者最短路徑橋接(SPB)。TRILL和SPB協議轉發所有的連接流量,但同樣能保持保持一個無環路的網絡拓撲結構,類似于路由網絡。
所有橫向的主機在網絡位置上是平行的。葉脊網絡將擴大接入層、匯聚層。一個主機可以通過葉支交換機(leaf)和另一個葉支交換機上的主機進行通信,而且是獨立的通道。這種網絡可以大大提高網絡的效率,特別是高性能計算集群或高頻流量通信設備,
葉脊網絡里使用所有的互連鏈路,是傳統的三層設計采用生成樹一預防環路協議。如前所述,生成樹檢測回路,然后在回路的位置進行標記和隔離,以防止形成回路。這意味著,雙路接入交換機只能使用兩個上行鏈路其中的一個。而新的代替協議,如SPB和TRILL允許接入設備之間的所有鏈接都接入網絡,使網絡規模隨著流量增長。
葉脊網絡拓撲結構提供解決橫向網絡連接的傳輸瓶頸,而且提供高度的擴展性,它幾乎能適應所有大中小型數據中心。可以預見,所有企業IT建設都是走向收斂型和高層次的虛擬化型葉脊網絡結構。
葉脊拓撲網絡結構不可能是完美的。其中一個缺點就是,交換機的增多使得網絡規模變大。葉脊拓撲網絡結構的數據中心需要按客戶端的數量,相應比例的增加交換機和網絡設備。隨著主機的增加,需要大量的葉交換機(leaf)上行連接到脊交換機(spine)。
在設計葉脊網絡的時候特別要注意這個帶寬的比例關系。
葉脊網絡對布線有明確的技術要求。葉脊層之間的電纜數量增加是數據中心IT人員不得不面臨的挑戰,甚至需要用光纖來連接。因為光模塊有傳輸距離遠,衰減小的特點,在大型的網絡部署中有不可替代的優勢。部署數據中心葉脊網絡的時候必須考慮這些因素,如客戶端數量,帶寬需求的大小,距離的遠近等等,以便選擇是否需要光纖模塊。
不斷發展的標準
應用程序標準的組織,即IEEE802.3 (IEEE是國際性電子技術與信息科學工程師的協會)和ANSI/T11 (ANSI是美國國家標準局)一直忙于更新標準,以便跟上帶寬快速增長的步伐。這些標準不僅僅是促進線路速率飛速發展,它們還鼓勵開發更高速率的應用程序,這將提高數據中心設備之間鏈路的成本效益。
為此,正在開發一些過渡速度來填補10G、40G、100G和400G之間的差距。表1列出各種以太網標準,紅色字體列出的是還進行中的。
表1:IEEE802.3以太網光纖標準---完成的和進行中的(紅色字體)
(備注:IEEE802.3(以太網)標準是描述物理層和數據鏈路層的MAC子層的實現方法,在多種物理媒體上以多種速率采用CSMA/CD訪問方式,對于快速以太網標準說明的實現方法有所擴展。ANSI/T11(光纖通道委員會)T11即光纖通道委員會,絕大多數光纖通道的相關標準都是由T11制定并成為ANSI標準。)
遷移的選擇
關于向高帶寬轉移的討論是一項很復雜的任務,不僅要適應帶寬的飛速發展,還需要考慮這項任務帶來的硬件的成本:光纖類型、調制、傳輸方案、連接器配置。
圖4和圖5顯示兩種可能的遷移路徑,但是還有許多其他的遷移路徑。這就意味著要進行全面的考慮,確定哪條路徑更適合自身數據中心發展。以下只是需要考慮的問題中一些:
圖4: 10G基于SR的MPO通路雙工光纖鏈
圖5:40G基于SR-4交換機和服務器中并行光模塊鏈路
問題一:選擇40G還是25G?
直到最近,帶寬從10G到40G的趨勢已被廣為接受。自從IEEE802.3標準得到認可之后,業界已將25G作為下一個里程碑似的目標,當然,將25G 定為目標是有一定的原因。首先,直接遷移到40G,僅光模塊這一項的成本就已很高,并且25G通道使數據中心能夠最大限度的利用現有的10G基礎架構,還有一點,25G通道更容易向50G(2×25G)和100G(4×25G)轉變。
問題二:跳線是采用預端接還是現場熔接?
為快速提升數據中心網絡速度,預端接已成為眾多數據中心中首選的一項布線技術。據估計,預端接跳線的即插即用能比熔接節省90%的時間。在網絡維護方面――特別需要移動/添加/更改時――預端接比熔接快50%。預端接的價值將隨著網絡中使用光纖的數量越多,優勢越明顯。在預端接解決方案中,MPO/MTP光纖由于其易于使用、安裝速度快、高密度正迅速成為光纖熔接首選。
問題三:串行通信還是并行通信?
隨著應用程序爆發性的增長,對數據中心速率響應將提出更苛刻的要求,這幾年,市場已從串行轉向并行通信。這一趨勢得到以MPO為主的連接器的支持,MPO光纖連接器已經在數據中心使用近十年。使用激光優化多模光纖(LOMMF ) ,串行通信可以支持10G帶寬。但隨著10G鏈路被25G或40G代替,串行通信的唯一選擇是轉向更昂貴的單模解決方案。然而,并行通信為40G和100G以太網提供一個性價比更高的解決方案。轉換為并行通信也有助于推動使用MPO連接器的應用。在北美,預計到2020年,40/ 100GbE通信鏈路的MPO光纖-光模塊連接器的銷量每年將增長15.9% ,到2020年將達到1.26億美元。然而,由于并行通信來的到來,未來會有更多與此相關的技術問世。
問題四:單模,多模還是寬帶多模?
可插拔光模塊的成本限制單模光纖(SMF)的使用。雖然新技術和生產效率提高有助于降低SMF(單模光纖)的價格,可即使如此,單模光模塊的成本還是有些略高。在數據中心中使用SMF數量增加的兩個區域是:從大型數據中心設計的入口設施到主要分配區域以及從樓層。多模光纖(MMF)對企業無論是從密度還是成本上都提供者更具吸引力的性能。
對多模光纖(MMF)而言,面臨的挑戰是距離問題,也就是說隨著數據量不斷增長和互連速度的提高,通信鏈路距離會越來越短。但是,新興的、更高質量的組件和設計鏈路能夠支持更遠距離以及新數據中心拓撲結構所需要的鏈路容量。最近,出現一個改良的方案,它可能為光纖升級提供最理想的解決方案。它就是寬帶多模光纖(WBMMF )是一種新的光纖類型,最近被ANSI/TIA-492AAE認可,預計由ANSI/TIA-942-B推薦。在2015年由CommScope(美國康普公司)推出,WBMMF增強短波分復用(SWDM)技術的能力,至少可用帶寬是原來的四倍,同時保持兼容OM3與 OM4,以及支持所有類型多模應用。通過多路復用技術將四組信號組合成一組信號在850 nm ——950nm區域內傳輸,一組WBMMF信號是現在傳輸容量的四倍,圖6顯示OM3、OM4和OM4寬帶光纖之間的帶寬比較。
(備注:多路復用是指以同一傳輸媒質(線路)承載多路信號進行通信的方式。各路信號在送往傳輸媒質以前,需按一定的規則進行調制,以利于各路已調信號在媒質中傳輸,并不致混淆,從而在傳到對方時使信號具有足夠能量,且可用反調制的方法加以區分、恢復成原信號。多路復用常用的方法有頻分多路復用和時分多路復用,碼分多路復用的應用也在不斷擴大。)
圖6:光纖帶寬對比
問題五:調制方案
新高階調制方案目前是可用的,與此同時,提出一種內或跨數據中心的光纖鏈路——四振幅電平脈沖幅度調制(pam-4)。如圖7所示,PAM-4是一種調制技術,用四種不同的脈沖振幅來傳輸信息。相比于非歸零碼(二進制調制),使用pam-4能夠提供較之固定帶寬兩倍的傳輸能力,缺點在于它具有更高的信噪比(SNR )。盡管如此,它的簡便性與低功耗使得PAM-4成為100G以太網技術中最有前途的調制技術之一。
圖7:PAM4和NRZ調制
問題六:收發技術
除開發更高級的調制方案來提高信道速度外,還在開發多種WDM(波分復用――一種光纖傳輸技術)來增加每條光纖的通道或波長的數量。WDM已使用20多年,此技術通過減少光纖總數來提高遠程輸送網絡的數據速率。它也被用于單模以太網的應用中(如10GBASE-LR4 和 100GBASE-LR4)它使用粗波分復用(WDM)技術將同一光纖上組合四個波長。這項技術已被用到多模光纖,也就是所謂的粗波WDM或短波SWDM。
如圖8所示,SWDM在850nm到940nm范圍內的波長。
智能系統
自動化基礎架構管理(AIM )系統能夠提供物理層以及所有連接設備的精確映像,所以它對遷移進程很有幫助。由于AIM系統能自動監測、記錄正在使用的所有端口和光纖,所以他們能夠確保從雙工到并行時的容量。相反地,AIM能夠幫助識別多余的布線和交換機端口,使它們可用于并行到雙工的遷移。關于AIM的ISO/IEC18598標準預計于2017年(今年)被批準。
專家觀點
基于MPO(一種多芯多通道插拔式連接器)的預端接光纖解決方案已成為高性能網絡的最佳選擇。這些系統在出廠前就已具備優良的性能,以支持私有云類企業數據中心擴展要求的速度以及敏捷性。將帶寬從OM3提高到OM4是為滿足目前高速發展的網絡的先決條件,在OM4可供選擇的方案中,WBMMF將是最終的選擇,因為它能夠將OM4實際容量提高4倍數。最后,為提高網絡設備并支持物理網絡密度,未來將支持SWDM雙工鏈路用于結構鏈路。在這么多年對8芯光纖,12芯光纖和24芯光纖MPO技術討論中, 經過調研,發現MPO12-光纖系統優勢明顯,它不僅具有卓越靈活性的雙工、并行應用程序,具有出色的靈活性同時能夠適用于大多數數據中心布線應用, MPO 24-光纖系統增加物理網絡的密度和容量。這些系統支持雙工和并行應用程序,而且與8-光纖和12-光纖系統相比,每條光纖的成本更低。因此,MPO 24-光纖是推薦給用于高密度網絡或主要是雙工的應用程序。MPO 8-光纖系統支持流行的QSFP(四通道SFP接口)應用程序,主要用于4*10G存儲和服務器網絡。然而,下一代服務器很可能會遷移到25G或50G。這些很可能通過40G QSFP來實現。其使用100G(4X25G)光行通信將會以以相同的方式進行部署。網絡架構鏈路不需要斷開到低速端口。因此,雙光纖雙工鏈路如100G SWDM是一個非常有吸引力的選擇。這些雙工光纖架構鏈路使用12光纖或24光纖解決方案以更高的密度實現。
圖9:不同光纖總數的MPO連接器