數據中心網絡,作為互聯網業務賴以生存和發展的基礎設施,早已從最初的千兆、萬兆網絡,走到了“25G接入+100G互聯”規模部署的階段。
100G互聯:全盒架構被大型互聯網企業看重
“25G接入+100G互聯”的架構下,數據中心網絡通過三級組網實現大規模接入,單集群服務器規??梢猿^10萬臺。
如下圖所示,基于T1和T2層的Pod可以像樂高積木一樣靈活擴展,按需建設。
圖1:右側引用自 https://techblog.comsoc.org/2019/03/18/facebooks-f16-achieves-400g-effective-intra-dc-speeds-using-100ge-fabric-switches-and-100g-optics-other-hyperscalers/
隨著大容量轉發芯片的能力提升以及100G光互聯成本的降低,市場上出現了單芯片交換機設備構建100G互聯的全盒式設備組網方案。這種單芯片多平面的互聯方案,以12.8T芯片為典型代表,單芯片可提供128x100G的端口密度,單個POD可提供2000臺服務器的接入能力。
圖2:典型128口100GE高密盒式交換機
全盒式設備組網方案,相對傳統框盒設備方案,雖然網絡節點數量和設備間的光互聯模塊數量有所增加,帶來了運維工作量的增長,但因引入了高性能轉發芯片,有效降低了數據中心網絡端口的單比特成本,對大型互聯網企業吸引力很強。大型互聯網企業一方面快速引入100G全盒架構,以降低網絡建設成本,另一方面基于自身較強的研發能力,提升網絡自動化部署和維護水平來應對運維工作量增長挑戰。
因此,大型互聯網企業對于100G網絡方案思路趨同,全盒設備組網成為100GE網絡架構演進的基座。
網絡提速成為必然,誰會是下一站?
25G接入+100G互聯網絡方案促成芯片選型的統一和快速上量,充分說明了技術紅利驅動了IDC網絡架構的快速演進。隨著單芯片網絡產品的推出,100G代際的技術紅利也已經得到了完全的獲取。
在當前業務持續快速發展的背景下,帶寬升級成為必然。一個選擇題擺到了企業面前:選200G還是400G?
網絡從來都不是孤立的存在,產業的環境是決定技術是否能夠成長、成熟的大土壤。
我們先從網絡標準、服務器和光模塊三方面審視下200G和400G的產業現狀。
200G vs 400G標準:協議標準均已成熟
在IEEE 協議標準演進過程中,200G標準啟動晚于400G標準。
IEEE 802.3以太網工作組(Working Group)在完成BWA I(Bandwidth Assessment I)項目調研后,于2013年立項制定400G標準。2015年,為了進一步擴展市場范圍納入50G服務器和200G交換機規格,IEEE成立802.3cd項目,啟動制定200G標準。
因200G與400G規格具備相關性, 200G單模規格最終納入了802.3bs項目。屆時,400G已經基本完成PCS、PMA、PMD的主要設計,200G單模規格總體上是基于400G單模規格減半制定。
2017年12月6日,IEEE 802最終批準IEEE 802.3bs 400G以太標準規范,包含400G以太和200G以太單模,標準正式發布。IEEE 802.3cd 定義了200G以太多模的標準,于2018年12月正式發布。
圖3:IEEE 802.3bs 400GE 標準關鍵里程碑,引自http://www.ieee802.org/3/bs/timeline_3bs_0915.pdf
如下表所見,400G已實現全場景的標準支持,包括100m、500m、2km和長距80km。
50G vs 100G服務器:100G服務器將會成為主流
圖4:分析師機構對網卡和服務器的發貨趨勢預測
根據分析師機構CREHAN的預測,截止2019年,50G和100G網卡都已經啟動發貨。25G網卡的下一代升級選擇上,整個產業在2018和2019年存在著搖擺。2019年50G和100G服務器發貨量產生了逆轉,但2020年后100G服務器的勢頭全面超越了50G服務器,產業又開始對100G服務器充滿信心。
從CPU芯片來看,兩家主流廠商I廠和A廠都陸續推出了新的產品路標。I廠支持PCIe 4.0的芯片將于2020年Q3推出,主流I/O達到50G,高端應用時IO達到100G/200G。兩家巨頭預計將在2021年H1分別推出支持PCIe5.0的芯片,再次將主流I/O提高到100G,高端應用時IO可達到400G。
因此,CPU芯片節奏和服務器發貨預測均顯示出50G曇花一現,100G服務器正快速成為主流。
200G vs 400G光模塊:400G成本更優,產業更成熟
數據中心接入服務器從25G向100G演進,那么當前的100G互聯網絡應該選擇200G還是400G呢?
從上表可以看出,當數據中心從10G服務器演進到25G,網絡互聯從40G升級到100G,網絡帶寬增長一倍,但互聯成本、功耗卻保持不變,即Gbit互聯成本與功耗下降一半。所以100GE取代40GE成為25GE時代的主流網絡互聯方案。
200GE和400GE光模塊與以往有點不同。傳統光模塊采用NRZ(Non-Return-to-Zero)的信號傳輸技術,采用高、低兩種信號電平表示數字邏輯信號的0、1,每個時鐘周期可以傳輸1bit的邏輯信息。而200G和400G光模塊皆采用了高階調制技術——PAM4(Pulse Amplitude Modulation 4四階脈沖幅度調制)。PAM4信號采用4個不同的信號電平進行信號傳輸,每個時鐘周期可以傳輸2bit的邏輯信息,即00、01、10、11。
因此,在同樣波特率條件下,PAM4信號比特速率是NRZ信號的2倍,傳輸效率提高一倍,有效降低Gbit成本。從光模塊構成看,200G和400G模塊都是采用4-lane的主流架構,所以模塊設計成本、功耗趨同。
因為400G模塊的帶寬是200G的兩倍,所以Gbit成本和功耗是200G的一半。
另一方面,模塊成本除了架構設計,也取決于規模上量的規模。根據第三方咨詢公司Omdia (原OVUM)的發貨數據, 對TOP8供應商當前在200G、400G模塊的布局梳理如下。
如上圖所示,200G的模塊種類只有100m SR4和2km FR4兩種,其中100m SR4只有兩家供應商。反觀400G的模塊種類達到了5種,TOP8廠商皆對100m、500m和2km模塊進行了布局。400G的產業成熟度遠勝于200G,客戶的選擇也更為豐富。
這一分析結果也進一步說明了由于PAM4技術的引入,存在成本和功耗的技術代價。對在成本、功耗敏感的數據中心網絡領域,產業迫切期望跨過200G邁入400G來吸納這個代價。采用同樣技術和成本構成的400G在演進方面更具競爭力。
小結:400G接檔勢頭明顯,200G一代或將跳過
數據中心網絡是服務于業務的存在。從業務驅動上看,高速增長的數字化建設將推動100G服務器在2020年快速起量,并成為主流。從成本上看,由于數據中心光器件成本占整個數據中心網絡設備成本的一半以上,由于PAM4技術的引入,400G光器件單Bit成本比200G光模塊更具優勢,光模塊部署成本將直接帶動整個整體建網成本的下降。
從總體上看,400G接檔勢頭明顯,200G代際或成為臨時過渡或被直接跳過。