在移動互聯網時代以前，人們上網接入帶寬也就是幾十到幾百 K，上網的主要目的是瀏覽網頁、聊 QQ、聽音樂，信息的流向主要是下行，規模不大，數據中心流量主要是南北向的流量;但是隨著移動互聯網的到來，智能手機的普及，4K 視頻、微信、視頻、語音、AR/VR等互聯網應用等對網絡帶寬都帶來了巨大的增長，信息的流向不在是以下行為主了，上行和下行都在變大，數據中心除了南北向流量外，東西向流量也在同步增長;
下圖是 cisco 對未來數據中心流量的預測，預測到2021年全球數據中心流量年增長25%，Google 的數據中心流量從2008年到2014年增長了50倍，百度近幾年數據中心流量的年增長比例也在50%以上;
數據中心流量組成中，數據中心內流量占比高達71.5%，在數據中心間占比13.6%，數據中心到用戶的流量占比只有14.9%;這么高的內部流量占比，需要一個強有力的數據中心網絡架構才能支撐。
2、數據中心網絡架構演進
數據中心網絡在演進過程中有很多種架構，以 Four-Post 和 Clos最為常見，以下是 Facebook 公開的兩種網絡架構。
Four-Post
此架構由4臺 CSW 交換機組成一個網絡集群Cluster，在 Cluster 內每臺 RSW(即 TOR) 交換機有4條鏈路上行至 CSW，網絡 Cluster 間通過 FC 交換機互聯;該架構，通過復制 Cluster可以滿足大規模服務器組網的需求，但該網絡在某些方面有些不足，如
1)在冗余度上，單臺 CSW 故障流量損失25%;單臺 FC 故障Cluster 間流量損失25%;
2)Cluster 集群規模由 CSW 設備端口容量決定;
3)該架構收斂比較高;
4)CSW 設備一般是大型框式設備，供應商少，CAPEX 和 OPEX高;
5)核心設備軟件問題和定制化開發難度大;
CLOS Fabric
此架構由三個層級的交換機組成，分別是 Spine SW、Edge SW、RSW。每4臺 ESW 和48臺 RSW 組成1個 Server Pod，每 RSW 有4條鏈路上聯 ESW，每臺 ESW 上聯一個 Spine 平面;該架構，通過復制 Server Pod 來擴展網絡 Cluster 集群規模，集群擴展很靈活，可支持的服務器規模大，設備和鏈路的冗余度也大，可靠性高，且網絡Cluster 集群內無收斂比，網絡吞吐能力高，但在管理運維方面復雜度高，需要部署 SDN 等自動化的管理運維手段。
百度數據中心網絡架構;下圖是百度在2017年以前的數據中心網絡架構，架構和上述 Four-Post 相同，該架構的特點如下：
1)網絡Cluster集群的截面帶寬(BBW)有100X Tbps;
2)TOR 層級有3：1的收斂比;
3)網絡可靠性，單臺Leaf設備故障 影響一個 POD 的25%流量;單臺 Spine 交換機故障，影響整個網絡集群1/8的流量;
4)CLOS 內部互聯鏈路多，運維監控是個挑戰;
下圖是百度現在的 CLOS 架構;架構同 Facebook 的 Clos 架構類同，但Leaf 節點、Spine 節點仍采用大型的商用框式交換機，后續會使用自研交換機替代。這個架構特點如下：
由上述網絡架構演進可見，不管是Four-Post 架構還是 Clos架構，在數據中心內，網絡設備和光互聯鏈路的數量非常多，如何有效的進行網絡和鏈路的運維是我們面臨的巨大挑戰。
數據中心光互聯網絡運維實踐
首先，數據中心光互聯網絡運維都有哪些挑戰：
1)光互聯覆蓋范圍廣;1Xm ~100X Km;
2)光互聯鏈路數量和類型很多;在100m 上，有 OM3/OM4，模塊有 SR4、ESR4;500m 距離，有單模光纖，PSM4、CWDM4模塊;2KM 的數據中心園區場景，有單模光纜、CWDM4、LR4光模塊;數據中心間，隨著距離的增長也有不同的技術應用，LR4、10G DWDM 彩光、200G OTN 等;
3)難以用一種監控手段覆蓋所有的技術類別，存在多種監控系統和平臺，運維效率低。
然后，百度針對這些不同互聯場景的運維實踐，如下：
1)設備或模塊故障，采用 基于設備SYSLOG 日志分析的運維監控方法，針對設備上報的日志來及時監控運行狀態;
2)針對鏈路類的故障，采用自動化 ping 程序來監控鏈路狀態，同時部署了多個路由協議探針做鏈路級故障的分析和判斷;
3)針對鏈路的誤碼和丟包等質量問題，部署了2套網絡質量監控系統來監控，一套是部署在網絡核心 IC層級的天網 監控系統，實時監測鏈路的誤碼和丟包情況;另一套是業務部門在服務器上部署的 Net-radar 系統，實時感知網絡質量異常;
最后，SDN 的部署，整合了上述傳統網絡監控工具，基于 SDN/IBN 的思想構建了智能管控編排中心，下圖是框圖：
SDN系統實時采集網絡設備各種配置和狀態數據;包括單不限于，資產、配置、拓撲、流量、日志等;
整個系統是個閉環系統，當監測到網絡異常時，根據不同的策略進行業務編排，下發控制命令，故障隔離，編排處理流程策略;自動或轉人工處理;在處理過程中，自動校驗檢測、自動恢復上線和流量調度;全程都是現場的人和機器人交互，提高溝通效率;
4、從運維角度對數據中心光互聯網絡的技術需求
1)我們希望設備商、模塊商、系統商，更加開放，讓用戶擁有自主權，可在內部編寫 APP 或 AGENT，自定義管理控制功能及接口，提取或主動上報各類運行數據，加速數據中心網絡運維自動化進程;
2)我們希望 IP 和光能夠進一步融合(軟件或硬件層面)，便于 SDN 統一管控，為業務提供多層次的控制策略。
京公網安備 11010502049343號