SDN（Software Defined Network）思想方興未艾，各種新型技術架構、標準組織、協議規范不斷在產生，發展和完善，為“軟件操控網絡”奠定了基礎。與此同時，傳統網絡設備正在逐步更新體系架構和軟硬件，增強對SDN的支持。在應用領域，SDN已經在以Google為代表的OTT進行部署，引起了廣泛關注。OTT通過操控數據中心產生的業務流量，大幅提高骨干網鏈路利用率，節省了可觀的帶寬租用費用。但是在傳統運營商互聯網領域，由于流量成分復雜、網絡規模龐大，鮮見成功先例。
本文介紹了基于SDN方式在運營商網絡上對互聯網流量調度的一次嘗試，使用的是BGP流量調度控制器（BGP TE controller）。BGP TE controller融合了SDN理念，針對運營商互聯網流量調度的特點和需求，以開源架構Open DayLight為基礎，實現了對BGP流量的調度。該控制器已經在國內某運營商骨干網成功部署，實現網絡和特定業務的平穩運行。這是國內首次通過SDN技術對互聯網流量進行調度，是SDN在運營商骨干網商用的一次成功實踐。
背景
2009年Martin Casado領導的項目組定義了Openflow協議，掀起了SDN的浪潮。隨著近些年蓬勃發展，SDN思想已經超越了Openflow協議本身，向可編程設備、可編程網絡的方向演進。
可編程設備是指支持編程語言（python、java等）通過API控制其正常運行的一類設備。這里的API也稱為SDN控制器南向接口（設備北向接口），可以是設備廠商自定義的API（如：ARISTA公司 EAPI，或者思科公司的OnePK 等），可以是開放SDN協議（如：Openflow 1.0/1.3、OpFlex、Netconf/YANG）訪問接口，也可以是設備命令行接口（CLI）或標準路由協議（如BGP、IGP）會話等等。
可編程網絡是指使用SDN控制器對整個網絡進行抽象、仿真、調度、監測的網絡。業務應用通過調用SDN控制器北向接口對整體網絡進行操控，實現業務保障、流量優化等目的。
近年來SDN控制器發展十分迅速，其中開源控制架構ODL（Open DayLight）便是其中的主要代表。ODL成立于2013年4月，由Linux Foundation管理，其成員包括IBM、思科、華為、中興等30多家公司。ODL可以支持包括Openflow、Ovsdb、Netconf、BGP、PCEP等多種控制器南向接口。
Internet流量調度需求和挑戰
通過SDN的部署，運營商可以實現快速、靈活業務部署,加速業務創新，優化流量模型，操控關鍵業務流量，充分利用運營商的管道資源，大幅提高運營商競爭力。
在流量調度方面，運營商通常采用BGP策略實現。常用的做法是運維人員登錄到路由器上手工調整BGP路由策略，改變特定業務的流量流向。這樣做費時、費力、實時性差、可靠性低。為了實現復雜網絡環境中的實時、自動流量調度，必須使用專用的流量調度系統。在SDN場景下，可以利用網絡的可編程特性實現上述功能。通過部署流量調度系統，將運營商、OTT服務商的互聯網出口帶寬資源池化，根據調度策略靈活、高效地進行流量分配，從而最大化利用現有的帶寬資源，由“運維”向“運營”的方向轉變。
在SDN應用場景中，運營商對互聯網流量調度的需求可以總結為如下幾點：
l 采用靈活、敏捷的調度方法，支持實時、動態流量調度；
l 使用開放、成熟的技術體系，盡量兼容現有設備，減少軟、硬件升級和二次開發風險；
l 具備橫向擴展能力，支持大規模網絡；
l 可用性高，避免單點故障，控制器對網絡的影響可控；
l 具備可視性，方便運維人員的維護、排障工作；
l 操作可回溯，發生異常之后可以快速回退。
不過，SDN在運營商骨干網部署過程中也存在諸多挑戰：
l 部署難度大
運營商骨干網規模大、設備類型和數量多，對SDN支持水平不一致。諸多新型協議棧如Openflow、OVSDB、Netconf等，需要對現網設備進行硬件更新、軟件升級后才能支持。再加上SDN發展迅猛，新技術層出不窮，協議版本快速迭代，對設備的兼容性、互操作性要求不斷提升。因此，全網實施SDN不僅難度大，而且還會進一步推高設備部署、維護成本。
l 可靠性、擴展性要求高
運營商骨干網設備數量多，涉及廠商多，國內三大運營商Internet骨干網及其海外網絡設備數量從100到300臺不等；大量的網間互聯導致BGP peer數量龐大，中國電信與中國聯通的網內互聯以及運營商網間互聯的BGP peer數量大約在500左右；Internet骨干網路由表項逐年增加，目前已經突破55萬條。SDN技術必須要在如此大規模路由條目和設備數量條件下，實現可靠、平穩地操控。
l 運維體系壓力大
網絡運維體系是保證運營商提供服務的關鍵之一，它由三個主要元素組成——人、工具、流程。由于SDN引入了編程語言、API、DevOps等要素，對于傳統運維人員來講，知識更新會是一個很大的挑戰；新技術的引入還將對現有OSS體系形成較大沖擊，需要引入新的工具、流程，以及積累新的運維經驗；此外，SDN的引入必然使得網絡更加智能、更加自動化，因此服務的開通時間、事件的響應時間將會大大縮短，而這些都會對傳統的運維流程產生較大影響。
Internet流量調度SDN部署實踐
[page]（一）國內某運營商流量調度需求
圖1 國內某運營商城域網結構示意圖
圖1中的國內某運營商城域IDC(BGP AS號yyy)包含多臺路由器，分屬不同廠商，每臺路由器包括十多條鏈路，分別與Internet骨干網接入路由器、城域網核心路由器、運營商IDC 路由器等多個路由器建立BGP互聯關系。上述鏈路的接口類型、鏈路帶寬、帶寬利用率和擴容條件差異較大。
本次流量調度的目的是動態調整城域網IDC出口路由器的流量轉發策略，BGP策略變更時減少對路由器配置的修改，同時在重大網絡活動期間（例如“雙11”）保障關鍵資源的訪問（例如：OTT網站）。
在上述提及的場景中，所涉及的IDC路由器有多個eBGP Peer連接到Internet骨干網，每個peer都有1條或者多條10G鏈路，缺省情況下去往互聯網的流量分別通過多個Peer進行轉發，峰值鏈路利用率都在80%以上。在BGP策略變更時往往需要通過多個維護窗口進行設備配置的修改；并且由于傳輸條件的限制，部分鏈路不能及時擴容，在重大網絡活動期間，流量快速增加，導致端口擁塞、服務質量下降。使用手工進行BGP流量調度，網絡節點和鏈路數量多、約束因素多、連接復雜，費時費力。
（二）BGP TE Controller設計實現
根據該運營商互聯網流量調度具體需求，結合SDN思想和技術標準，我們設計并實現了BGP TE controller。BGP TE controller南向接口采用BGP協議、BGP flowspec、Openflow v1.3，北向提供RESTful接口和用戶APP連接，系統架構如圖2所示。
圖2 BGP TE controller系統架構
l Collector：通過BGP協議、BMP協議（BGP Monitoring Protocol）協議，收集BGP、IGP路由系統的鄰居狀態、路由信息。
l Injector：根據策略引擎發送的轉發條目，進行環路檢測、適配之后調用BGP協議棧發送BGP路由或者ODL RESTful接口發送Openflow條目到路由器上。南向接口目前已經支持BGP、BGP flowspec和Openflow 1.3。controller可以根據系統負載自動調整injector的數量，做到橫向擴展。
l Monitor：可視化監控系統，通過對BGP系統進行實時監控、記錄，幫助運維人員維護BGP TE controller系統。
l Policy engine：根據用戶指定的轉發策略生成轉發條目、，并通過RESTful接口將轉發條目下發到BGP TE controller上。
安裝了BGP TE controller的虛機被部署在運營商內部的云環境之上，通過IBGP協議和Openflow協議分別連接到城域IDC路由器上和運營商骨干上，這樣BGP TE controller可以按照用戶指定規則通過BGP、Openflow分發相應的轉發策略，調度IDC出口路由器向指定的保障鏈路和eBGP peer發送流量。
通過BGP TE controller提供的API接口，運營商可以根據需求實時、動態調整每臺IDC出口路由器的轉發策略，從而避免了人工配置BGP策略帶來的隱患，而且BGP協議兼容多廠商的設備，無需對現網設備進行硬件、軟件升級；對于現網能夠支持Openflow設備，BGP TE controller可以通過Openflow驅動路由器，替代傳統的PBR（Policy based Routing）功能，通過 API的調用，可以方便、快速地修改轉發策略。
BGP TE controller具備以下特點：
· 部署復雜度方面
BGP協議是運營商網絡設備上最成熟的協議之一，Internet骨干網所有路由器均支持該協議，互操作性非常好。使用BGP協議作為南向接口，不需要對現網設備的硬、軟件進行升級即可進行SDN部署，大大降低了SDN的部署難度和成本。
· 高可用性和擴展性方面
用戶的APP同時連接多個BGP TE controller；特定網絡設備與多個controller建立BGP peer；每個controller向特定路由器發送相同路由條目，單臺controller故障對路由器沒有影響，由此實現了controller層面的冗余。多個BGP TE controller之間不需要任何心跳、數據庫同步的動作，大大簡化了系統設計，提高了軟件的可靠性。多個controller采用Linux Container模式部署，通過虛擬化實現擴展性，支持大規模網絡。在工作時，特定路由器中除了被操控的路由外，其他所有路由表項不受影響，仍然按照BGP協議運行原則自主運行，從而最大限度的確保controller對網絡設備的影響被控制在一定的范圍之內。BGP TE controller實現了高可靠性、高穩定性、高擴展性等關鍵特性。
· 運維體系方面
運維人員對BGP協議非常熟悉，傳統的知識體系可以得到沿用，而且運維流程變化較小，對OSS的改造也比較簡單。
綜上所述，BGP TE Controller解決或規避了SDN部署中的諸多關鍵難題，使其部署和使用變得更加平滑。
（三）國內某運營商流量調度策略
對于BGP路由策略變更的場景，根據路由策略通過API調用BGP TE controller向指定的設備發送相關的BGP路由更新，使得由控制器發送的路由稱為最佳路由（BGP best path），這樣目標設備便會按照控制器的策略進行流量轉發。
對于重大事件保障的場景，通過BGP TE controller，用戶將一條或者幾條鏈路作為專用保障鏈路承載去往需要保障資源（例如：淘寶）的流量，其余鏈路承載其他流量，基本調度策略如下所示。
l BGP TE controller發送和淘寶相關路由，并且將該路由的出口指向特定路由器上的專用保障鏈路。
[page]l 指定的路由器作為BGP peer接收到controller發出路由，然后按照該路由進行轉發，實現淘寶流量和其他互聯網流量的分流。
l 如果去往淘寶的流量持續增長，到達設定門限時，BGP TE controller可以動態地將更多鏈路納入保障鏈路。
l 當特定路由器上鏈路資源不足時，通過BGP TE controller可以將淘寶流量調度到其他路由器，并在新指定的路由器上開辟新的保障鏈路。
l 在保障結束后，controller可以自動或者人工撤銷對路由策略的下發。
圖3 BGP TE controller部署拓撲圖
該控制器在該運營商骨干網中進行了成功部署，并取得了預期效果。SDN技術用于大規模互聯網流量調度在國內尚屬首次。
（四）演進方向
I2RS（Interface to the Routing System）框架的標準化目前正在迅速發展當中，controller可以通過標準化的I2RS接口直接收集、修改設備的轉發表，從而實現更加靈活的調度策略；目前版本的ODL尚未支持BGP路由下發功能，當前的實現方式是通過ODL下發Openflow策略；隨著ODL支持的南向接口不斷豐富、成熟，如對BGP、I2RS等的支持，BGP TE controller會向以開源SDN controller ODL為基礎，以BGP、Openflow、I2RS為南向接口的方向逐步演進。
結束語
SDN的部署可以助力運營商加快業務創新，提高網絡資源利用率，優化業務體驗，增強市場競爭力，逐步實現從“運維”到“運營”的演進。本文介紹的BGP TE controller利用SDN思想，將多種新型技術架構和傳統BGP協議相結合，在保護原有網絡投資和最大限度保持原有運維體系的基礎上，成功實現了互聯網流量操控，是中國運營商SDN部署的一次有益實踐。隨著SDN產品、技術的不斷完善，可以預見未來更多符合中國運營商應用場景和運維體制的新方案、新產品將不斷涌現。
京公網安備 11010502049343號