騰訊的網絡架構伴隨了騰訊15年的發展，幾乎承載了全部互聯網業務產品，包括即時通信(QQ/微信)、SNS(QZONE)、網絡媒體(騰訊網/微博)和游戲(QQGAME)等，為了給廣大互聯網用戶提供更好的接入體驗，數十萬服務器分布在全球10多個城市、數十個數據中心，產生的跨城數據中心間流量達到數百G規模。在業務類型多樣及流量需求規模巨大的情況下，騰訊數據中心間網絡主要存在如下挑戰：

首先，從響應業務的角度來看，數據中心間網絡鏈路帶寬資源有限，難以滿足業務臨時性的大容量傳輸需求，通常需要業務部門自行搭建VPN平臺并通過公網傳輸;對重點業務流量的QoS保障也需要較長時間的擴容來滿足，業務部門通常抱怨基礎架構側行動緩慢、缺乏靈活性、響應速度慢。

其次，從鏈路利用率角度分析，為確保DCI(Data Center Interconnect，數據中心互聯)專線的可靠性需要對其進行1:1備份，所以正常情況下網絡鏈路利用率低于50%。昂貴的DCI專線帶寬浪費過半，而業務部門又苦于DCI專線帶寬不夠，如何提高DCI鏈路利用率成為一個難題。

第三，從網絡管理的角度分析，在大型骨干網中，由于地理分布較廣和業務類型眾多等原因，一個管理域中設備數量往往接近1000臺，完全通過人工方式來管理如此大型的分布式網絡系統，需要一個非常復雜的管理體系和風險控制流程。而且，未來網絡規模還會持續不斷地增加，完全通過傳統方式進行管理將是不可想象的;同時，業務模式的多樣性還意味著需要為不同的業務類型提供差異化服務，也就是說，在管理一個規模達1000臺設備的網絡的同時，還要求在每臺設備上為不同類型的業務提供實時變化的差異化服務，其復雜程度可想而知。

SDN(Software Defined Networking，軟件定義網絡)將網絡配置從單臺設備遷移到軟件平臺，設備本身變得更加簡單。網絡配置由中央控制器管理，控制器是一個包含算法、分析和規則的軟件，它來自一組規則，并使用OpenFlow或其它協議將配置下發到網絡設備。SDN允許網絡工程師更為靈活地控制和管理網絡，以便最好地服務需求，從而達到增加功能和降低運營成本的目的。

為了更好地滿足業務的帶寬需求、提升專線利用率以及降低運營復雜度，騰訊逐步實踐了數據中心間網絡SDN解決方案。為此我們提出了一個全新的概念——“Network as a Router”，它假設整個網絡只有一臺路由器，所有的功能和配置都在其中實現。試想一下，管理這樣的網絡將會是一件多么輕松愉悅的事情，不僅如此，通過這臺路由器提供的標準API，甚至可以讓每個用戶來自己管理其在網絡上使用的資源。那么，騰訊是如何將數據中心間網絡從傳統的網絡架構演變為“Network as a Router”?又是怎樣在SDN解決方案下實現智能的流量調度、網絡管理的?　　

分階段逐步演進的解決思路

規劃和構建一個網絡就好比建設一座城市，俗話說“羅馬不是一天建成的”，網絡架構的改變也是一項長期而重大的工程，需要在一個總體的藍圖下分階段逐步演進。

道路建設

任何一座智能城市，都需要建立在穩固的基礎設施架構之上，沒有好的公路便談不上城市的智能。網絡也是一樣，任何智能網絡都是建立在穩定、可靠的基礎設施之上的。

在數據中心間網絡上，需要選擇穩定、可靠的網絡設備和主備鏈路，選擇設備節點的異地備份，選擇具備良好擴展性的路由協議。物理硬件設施的基礎特性跟傳統的網絡理念是一致的。

BRT工程

當一個城市把公路修好之后是否就可以高枕無憂?答案是否定的，隨著城市車輛的增多、人口的增長，再寬敞的馬路也會逐步產生擁堵，特別是在交通高峰期更會發生大面積擁堵，為了解決這一問題，國內各大城市開始建設BRT(Bus Rapid Transit，快速公交系統)工程，通過公交車專用車道，提前預留專用道路給公交車，讓優先級別更高的公交車可以暢通無阻地通行。

在網絡上也需要相應的技術手段預留帶寬，讓專用的流量在專用的帶寬上轉發，例如MPLS-TE，不同優先級別的TE，可以為不同類型的業務保障、承諾不同等級的服務。

智能交通

現在，駕車者為了更快地到達目的地，通常會選擇導航工具來提供所有道路的交通信息，通常導航工具推薦的路徑可能不是物理距離最短的，但卻是交通最暢通、花費時間最短的路徑，這里體現了道路交通的一部分智能化。

在網絡上也可以實現類似的功能，和過去不同的是，現在我們可以把全網的所有鏈路和設備都看作一個資源池，從A點到B點，使用者不需要知道直連的物理鏈路有多少，只需能夠調配資源池里面的所有資源即可，因為從A到B不僅僅只有A→B直連的路徑，也有可能是A→C→B或者A→D→B。到底使用哪個路徑到達目的地，使用者也許不必關心。

如何把不同的流量放到不同的路徑上，從而避免網絡發生擁塞的情況，這就完全依賴于網絡控制器了(Network Controller)。Controller不僅僅能看到某條物理專線的帶寬，還能看到整個資源池，對池中的資源進行總體調度，它可以判斷哪里有網絡帶寬，甚至與業務應用的計算聯動，根據網絡資源情況將計算放到有資源的節點進行處理。

網絡控制器擁有面對用戶的接口，能夠獲取網管工具傳遞的信息，并通過用戶信息和網管信息等有效控制網絡設備和網絡資源。它可以根據實時需求將不同的flow在不同的路徑上進行添加、刪除、修改等操作，讓全網資源得到合理的共享。這就相當于將全網看作一臺路由器，只需要維護和管理控制器就可以管理整個網絡，從而實現“Network as a Router”的目標。

智能調度網絡的技術實現

騰訊的下一代數據中心間網絡將會實現資源自動池化、業務應用自動化管理網絡資源、業務應用自動感知網絡資源等特征。業務系統直接通過網絡系統提供的北向API接口實現自動申請、使用和釋放網絡資源，利用集中式調度系統自動完成網絡資源合理分配和使用。為了實現以上智能調度工作，PCEP(Path Computation Element Protocol)協議給了控制器和路由器一個非常好的交互接口。

傳統網絡設備的工作角色

在未來的網絡世界，報文的轉發路徑不能再由每個獨立的路由器決定。原因很簡單，因為網絡中每個獨立的路由器就像城市中的汽車一樣，只知道自己怎樣走，不會去考慮會不會給整個城市帶來交通擁堵。

因此，未來數據中心間網絡中的路由器的角色將會發生變化，由原來的計算路徑、轉發報文兩個功能減少為只有轉發報文的能力，而路徑計算將會交給集中式智能管理系統統一計算和調度。在PCEP協議中，傳統路由器將擔當PCC(Path Computation Client)角色，在整套控制系統中成為控制系統的Client端。

集中控制系統的工作角色

集中控制系統就像一個交通樞紐中心，它知道每一條道路的容量、當前流量以及路上每一輛汽車將要到達的目的地。利用這些信息，它可以通過智能算法為每一個業務flow計算出最合適的路徑。所以集中控制器就成為了PCEP協議中的Server端。但在整個控制系統中，核心部分是控制系統的邏輯算法，而不是PCEP協議，PCEP協議只是為傳統網絡設備提供了北向接口，為控制器提供了南向接口。

為什么說控制系統中最重要的是邏輯算法呢?因為不同的網絡、業務系統和業務類型對網絡資源有不同的要求，在傳統網絡架構中，只能按照統一的硬件網絡設備設計好的路徑轉發，而不能靈活地為不同的業務類型提供不同的選路方案。

在傳統網絡中，硬件設備提供商或者IETF協議已經把規則固化在硬件設備中，允許用戶調整的空間很小，作為用戶只能按照固化的規則進行業務的部署。那么這是否是我們想要的呢?從眾多的實際業務部署場景中可以看到，很多時候網絡的路徑選擇并不是最貼合業務需求的，這些方案的選擇應該交給網絡的使用者來決定，甚至應該交由上層的業務應用層進行選擇。作為網絡的使用者，應當能更多地控制路徑選擇的邏輯算法，甚至可以為每種不同類型的業務應用提供不同的網絡選路算法。

業務應用系統的工作角色

上面所說的網絡控制系統是為業務應用系統提供服務的，業務應用系統通過調用網絡控制系統提供的北向API接口來申請、使用、釋放網絡資源，通過API接口通知網絡控制系統業務的真實需求(包括需求帶寬、延時、使用時長等信息)。　　

向更簡單、更智能方向發展

為了不斷提高廣大互聯網用戶的使用體驗，滿足不斷發展的業務需求，我們正在嘗試利用SDN的思路研究下一代數據中心互聯網絡。

在過去階段，騰訊按照業務帶寬需求構建了一個高速、穩定、可靠的數據中心間網絡，并且全面承載騰訊所有類型的業務，實現了網絡資源的靈活共享。在現階段，我們正在進行BRT工程的建設，使用SDN的初級理念實現QoS的集中管理和控制，使用MPLS-TE提供業務差異化服務能力，為業務的快速部署提供了堅實基礎。在未來階段，我們將進一步引入SDN理念，采用Controller控制全網flow的轉發，讓特定的flow轉發到特定的路徑上。實現集中控制的智能調度網絡，簡化網絡管理。

可以預計的是，基于SDN理念的網絡正向著更簡單、更智能化的方向發展，未來將會衍生出一系列相對于現有路由協議更輕量級、更易于管理的協議。千里之行，始于足下，今天我們研究SDN，應該著眼于如何協調網絡的能力，增加網絡的可視化，提升網絡的差異化服務，從而為今后提供更智能、更便捷的服務夯實基礎。

今天，我們探討了數據中心間網絡流量調度的思路，通過這個思路可以解決我們長期以來DCI流量模型的困惑，指導我們未來DCI流量調度的發展方向。但是否所有問題都解決了呢?在大型網絡中，大量的路由條目、運行了20多年的BGP協議、每個AS各自管理自己的路由條目接收發送、由于某些運營商的不正確操作經常導致大規模故障事件……這種運營了20多年的互聯網協議和模式是否還適合今天的運營環境?這應該引起大家更多的思考。