下圖就是一個典型的基于CLOS架構的數據中心解決方案，在這樣的大規模網絡中，如何讓數據在傳輸過程中能以最快的速度從發送端到接收端，成為網絡性能調優的關鍵因素。
京東IT資源服務部舉辦的未來數據中心核心技術研討會上，京東人工智能，大數據，云計算團隊的多位研發總監，技術骨干人員，針對網絡影響應用性能的話題，展開了深入的討論。
網絡影響應用性能的一個原因，是處理器的性能越來越高，應用到應用之間，點對點延遲越來越低。比如在高性能計算和AI應用中用到的MPI 協議，點對點傳輸的延遲可以小于1微秒（1us）, 而現在多數交換機的單個Hop延遲超過了3微秒。
從上面那張拓撲圖中可以看到，同一數據中心需要經過5個Hop（從Rack ToR 到Row Spine，到Data Center Spine， 再到Row Spine，到Rack ToR），這需要消耗15微秒的延遲。1微秒比15微秒，在運行應用的過程中超過90%的時間消耗到了網絡上，這種情形還不包括網絡上有任何丟包導致的重傳。
如何減小網絡對于應用性能的影響
-
采用高性能的交換機。如果交換機的性能能從3微秒降低到0.3微秒，這樣的話，整個網絡的延時會降低到原來的十分之一。
-
采用性能高而且穩定的交換機。有的交換機轉發性能不穩定，在不同的包大小情況下，會有不同的轉發性能，在小包的情況下可以有低的延遲，在大包的情況下延遲會大幅增加，導致網絡性能不可預測。有的交換機轉發性能可以不隨著包大小的變化而波動，一直維持在低延遲的狀態。
- 避免出現多對一通訊時的不公平現象。如果出現這種不公平現象，會導致網絡轉發速度不均，出現先到后得的現象。
- 建立快速的網絡擁塞控制機制。在大型的網絡中，擁塞是不可避免的，如何能有效的管理擁塞和降低擁塞帶來的丟包和重傳，是現在網絡管理中非常重要的一個技術難點
- 降速慢傳數據策略優于丟包重傳數據。在網絡中，降速慢傳和丟包重傳是兩種被用來解決擁塞的方式，實踐證明，慢傳比丟包重傳更能有效的解決擁塞問題。
對網絡擁塞的管理和控制
通過研討會上的討論我們可以發現，應用的屬性決定了網絡中的通訊方式，如存儲應用中的多個initiator訪問單個或多個target，MPI應用中的多對多通訊，machine learning中的worker和parameter server通訊，CDN中的一對多通訊等。
當多對一的情況發生時，為了減少丟包導致的重傳，我們需要采取措施來降低發送端的速度，來減少對交換機buffer的壓力。在網絡的擁塞管理和控制上，業界通常采用PFC（Priority based Flow Control）和ECN（Explicit Congestion Notification）兩種方式來實現。
- PFC 是在交換機入口（ingress port）發起的擁塞管理機制
在通常無擁塞情況下，交換機的入口buffer不需要存儲數據。當交換機出口（egress port）的buffer達到一定的閾值時，交換機的入口buffer開始積累，當入口buffer達到我們設定的閾值時，交換機入口開始主動的迫使它的上級端口降速。由于PFC是基于優先級的控制，所以這種反壓可能導致同樣優先級的應用受到影響。
- ECN是在交換機出口（egress port）發起的擁塞控制機制
當交換機的出口buffer達到設定的閾值時，交換機會改變數據包頭中的ECN位來給數據打上ECN標簽，當帶ECN標簽的數據到達接收端以后，接收端會生成CNP（Congestion Notification Packet）并將它發送給發送端，CNP包含了導致擁塞的flow或QP的信息，當接收端收到CNP后，會采取措施降低發送速度。
可見ECN是基于TCP flow或RDMA QP的擁塞控制機制，它只對導致擁塞的flow或QP起作用，不會影響到其他的應用。
京東IT資源服務部的硬件系統部技術負責人王中平提出：在管理網絡的擁塞中，應該綜合應用PFC 和ECN 兩種方式，來有效的實現性能和操作性的平衡。具體的實施過程中可參考以下推薦：
京東IT資源服務部負責人呂科說：“如何降低網絡對于應用性能的影響是一個非常復雜的問題，也是所有的數據中心管理者一直在力求解決的問題。最好的方式就是我們的網絡人員和應用人員一起來討論應用對于網絡的需求，我們專業的技術團隊會針對需求，測試和選擇最合適的網絡產品和網絡方案。”
京公網安備 11010502049343號