當(dāng)前位置：數(shù)據(jù)中心 → 行業(yè)動態(tài) → 正文

數(shù)據(jù)中心內(nèi)的負(fù)載均衡-MPTCP

責(zé)任編輯：zsheng |來源：企業(yè)網(wǎng)D1Net 2018-09-14 08:01:25 本文摘自：SDNLAB

1. 為什么用MPTCP做負(fù)載均衡?

(1)充分利用網(wǎng)絡(luò)資源

以手機為例，手機包含兩種上網(wǎng)方式，蜂窩移動數(shù)據(jù)網(wǎng)絡(luò)(2G，3G，4G)和WIFI網(wǎng)絡(luò)。我們希望在有WIFI的時候盡量使用WIFI，這樣可以節(jié)省成本，沒有WIFI的時候自動切換到蜂窩移動網(wǎng)絡(luò)，避免斷連。同樣在PC端，我們希望有線網(wǎng)卡和無線網(wǎng)卡可以同時上網(wǎng)，提高網(wǎng)速。但是使用TCP協(xié)議是無法實現(xiàn)上述功能的。

(2)提供可靠傳輸

MPTCP在協(xié)議棧中，位于TCP之上，利用建立TCP子流進(jìn)行數(shù)據(jù)傳輸。TCP是面向連接的4層協(xié)議，它可以提供可靠傳輸，并且擁有擁塞控制機制。但是TCP的單路徑傳輸?shù)膮f(xié)議，即便網(wǎng)絡(luò)上存在多條路徑資源，也無法利用這些路徑資源。因為TCP是通過四元組：{源IP，目的IP，源端口，目的端口} 唯一的確定一個連接，當(dāng)四元組中的任一項發(fā)生變化時，會導(dǎo)致連接中斷。因為應(yīng)用程序使用TCP協(xié)議只能和單個四元組綁定，無法同時使用多個IP。使用MPTCP正好可以解決這個問題。

數(shù)據(jù)中心存在大量的路徑資源，使用MPTCP可以更加充分地利用帶寬資源，且提供可靠傳輸。數(shù)據(jù)中心最常使用的負(fù)載均衡算法為ECMP，通過根據(jù)數(shù)據(jù)流的五元組哈希，將這些數(shù)據(jù)均勻隨機的分散到權(quán)重相等的路徑上。這種隨機選路負(fù)載均衡第一個問題是會產(chǎn)生哈希碰撞。如圖一所示，紅色路徑與藍(lán)色路徑產(chǎn)生了碰撞。另一個問題是，用這種最優(yōu)權(quán)重(如最短路徑)的方法選出的路徑，無法判斷路徑是否存在擁塞，很可能將流量繼續(xù)發(fā)送到一個已經(jīng)擁塞的鏈路上。而使用MPTCP進(jìn)行數(shù)據(jù)中心的負(fù)載均衡，在利用多路徑的同時，還可以對流量進(jìn)行擁塞控制，避免產(chǎn)生擁塞，動態(tài)的將數(shù)據(jù)更多的發(fā)送到負(fù)載低的鏈路上。有效的提高負(fù)載均衡性能。

圖1. 隨機哈希選路易產(chǎn)生哈希碰撞

2.MPTCP(Multipath TCP)協(xié)議介紹

簡單的說MPTCP是TCP的一個演進(jìn)協(xié)議，MPTCP可以使TCP同時使用多條路徑進(jìn)行通信。MPTCP在協(xié)議棧上的位置如圖2所示。MPTCP在2013年被正式定為標(biāo)準(zhǔn)，詳細(xì)內(nèi)容可參考RFC 6824 https://tools.ietf.org/html/rfc6824。

圖2. MPTCP在協(xié)議棧中的位置

MPTCP在設(shè)計上的挑戰(zhàn)

(1)對應(yīng)用層透明，MPTCP對于原本基于TCP的應(yīng)用應(yīng)該是完全透明的，即不需要應(yīng)用做出任何改變，也不需要重新編譯，即可像原來一樣正常工作。應(yīng)用程序并不知道在4層工作的其實是MPTCP。

(2)對網(wǎng)絡(luò)中間件透明，網(wǎng)絡(luò)上存在很多中間件，例如防火墻，NAT，這些設(shè)備往往是特制的硬件設(shè)備，即便使用MPTCP協(xié)議，應(yīng)允許數(shù)據(jù)順利的通過這些中間件設(shè)備而不需要對中間件設(shè)備做任何改變。

MPTCP會話建立過程

MPTCP會話通過建立多個子流來實現(xiàn)同時使用多條路徑傳輸數(shù)據(jù)，MPTCP子流的建立類似于TCP建立連接的過程。這些子流類似于正常的TCP連接，通過三次握手建立連接，四次揮手關(guān)閉連接。但這些子流都是綁定到一個已有的MPTCP會話上的。發(fā)送端的數(shù)據(jù)可以選擇任意的子流進(jìn)行傳輸。

例如：我們可以同時利用手機的WIFI和4G使用兩個IP來和WEB服務(wù)器建立MPTCP會話。但若WEB服務(wù)器只有1個IP地址，還可以建立MPTCP會話么?其實是可以的，WEB服務(wù)器可以使用不同的端口分別和手機的WIFI，4G建立連接。

建立MPTCP會話的過程：假設(shè)我手機選擇用4G開啟建立連接，過程如圖3所示，

1.手機會發(fā)送一個SYN數(shù)據(jù)包給WEB服務(wù)器，這個數(shù)據(jù)包和TCP建立連接時發(fā)送的一樣，只不過增加了TCP選項MP_CAPABLE字段，表明手機端支持MPTCP協(xié)議，以及一個key(用于將來繼續(xù)添加子流時進(jìn)行驗證)。

2.服務(wù)器端回應(yīng)SYN+ACK數(shù)據(jù)包同樣包含TCP選項MP_CAPABLE字段，以及一個key。

3.手機再次回應(yīng)ACK，此時建立了連接。

圖3. MPTCP建立連

此時4G和WEB服務(wù)器建立了連接，手機和WEB服務(wù)器可以通過這個路徑傳輸數(shù)據(jù)，那么如何添加WIFI和WEB服務(wù)器的路徑呢?要想增加WIFI和WEB服務(wù)器的路徑，首先要用WIFI和WEB服務(wù)器實現(xiàn)完整的建立連接過程，才可以使用WIFI與WEB服務(wù)器通信，如圖4所示。這次連接和第一個4G與WEB服務(wù)器建立的連接是有區(qū)別的。

(1)此時的SYN數(shù)據(jù)包中攜帶的TCP選項是MP_JOIN，并且向WEB服務(wù)器提供足夠的信息，說明其要加入的MPTCP會話，并確認(rèn)它是安全的。其中token是前面4G與WEB服務(wù)器建立連接的key的哈希。rand是一個隨機數(shù)，HMAC是rand的哈希。

(2)與第一次建立連接不同的是，這次要進(jìn)行4此握手。目的是保證連接安全。

圖4. MPTCP添加子流

實際上，子流在MPTCP會話期間是可以動態(tài)的增加或刪除的，而且不會影響應(yīng)用數(shù)據(jù)的傳輸。比如手機沒有了WIFI信號，那么數(shù)據(jù)可以繼續(xù)使用4G進(jìn)行傳輸，而不會造成應(yīng)用中斷。

MPTCP多個子流亂序問題

當(dāng)我們使用MPTCP建立多條子流傳輸數(shù)據(jù)時，每條子流選擇的路由路徑可能不同，那么路徑延遲也會不同。雖然發(fā)送端按序發(fā)送數(shù)據(jù)，但接收端接收到的數(shù)據(jù)可能產(chǎn)生亂序。既然TCP協(xié)議可以使用TCP報文頭中的序號，將數(shù)據(jù)包排序，那么MPTCP是不是同樣也可以利用數(shù)據(jù)包中的序號進(jìn)行排序?這樣是行不通的，因為每條路徑上的中間件(防火墻等)可能只有一半的數(shù)據(jù)經(jīng)過，它會發(fā)現(xiàn)這些包的TCP序號存在間隙，中間盒可能會丟掉這些無序的數(shù)據(jù)，讓TCP重傳中間這些空缺的數(shù)據(jù)。

MPTCP通過增加每個子流的包序列號來解決這個問題。這個時候每個數(shù)據(jù)包有2個序列號，一個是在TCP包頭中的序列號，為子流的序列號;另一個是DSN(data sequence number)為所有傳輸數(shù)據(jù)的序列號，用于將各個子流的數(shù)據(jù)重排。那么使用MPTCP收包，首先使用子流序列號，將各個子流接收到的數(shù)據(jù)包進(jìn)行重組，然后使用DSN對各個子流報文重組。

MPTCP擁塞控制

TCP的擁塞控制機制可以根據(jù)網(wǎng)絡(luò)鏈路情況動態(tài)的調(diào)整發(fā)送速率，我們不再贅述TCP擁塞控制的具體過程。那么MPTCP建立多條TCP子流傳輸數(shù)據(jù)，和TCP的擁塞機制有了些許差別。

(1)MPTCP的擁塞控制要保證公平性，即使用MPTCP和使用TCP占用的帶寬應(yīng)該是相同的。

(2)使用MPTCP的性能至少要和傳統(tǒng)的TCP相持平，或者更好。

(3)使用MPTCP應(yīng)能提供有效的負(fù)載均衡，減少數(shù)據(jù)在擁塞鏈路上傳輸。

MPTCP的每條子流的擁塞控制機制(慢啟動，擁塞避免，快重傳)與TCP是相同的。收到ACK時，增加擁塞窗口。發(fā)生丟包時，減少擁塞窗口的一半。不同的是子流擁塞窗口的調(diào)節(jié)方式，MPTCP中每個子流都有單獨的擁塞窗口，子流可以根據(jù)各自鏈路狀況動態(tài)的調(diào)節(jié)擁塞窗口，但要限制在整個MPTCP會話的窗口總量范圍內(nèi)。子流擁塞窗口的調(diào)節(jié)方式如下所示：

子流發(fā)生丟包時，減少擁塞窗口的一半。

MPTCP性能

圖5為An overview of Multipath TCP文章中利用亞馬遜EC2數(shù)據(jù)中心的40臺機器內(nèi)對使用MPTCP做負(fù)載均衡進(jìn)行的測試，實驗對比了使用傳統(tǒng)TCP，2個子流的MPTCP和4個子流的MPTCP的性能。可以看出使用MPTCP確實在一定程度上提高了吞吐量。

圖5. 利用亞馬遜EC2數(shù)據(jù)中心內(nèi)的40臺機器，對數(shù)據(jù)流使用TCP以及MPTCP不同子流的吞吐量測試

3.總結(jié)

在之前的文章中，曾介紹過數(shù)據(jù)中心內(nèi)使用ECMP算法進(jìn)行負(fù)載均衡，通過對數(shù)據(jù)包五元組哈希為流選擇路徑，實現(xiàn)負(fù)載均衡。但使用ECMP存在諸多缺陷：

(1)過于簡單，沒有擁塞控制機制，因此在網(wǎng)絡(luò)存在擁塞的情況下，使用ECMP可能會加劇路徑的擁塞。

(2)在非對稱網(wǎng)絡(luò)架構(gòu)下，ECMP的負(fù)載均衡效果并不好。

(3)ECMP這種基于流的負(fù)載均衡，不適合在數(shù)據(jù)中心這種老鼠流、大象流并存的環(huán)境中。

本文介紹了使用MPTCP協(xié)議做負(fù)載均衡，通過建立多條TCP子流的方式使用多條路徑傳輸數(shù)據(jù)。MPTCP可以提供有效的擁塞控制機制，而且切割數(shù)據(jù)流為多個子流解決，避免大象流這種流量大的數(shù)據(jù)流在一條鏈路上傳輸。其實，我們還可以對每條子流使用ECMP算法，利用哈希隨機選擇路徑，提高負(fù)載均衡效果。

不過MPTCP也不是一個完美的負(fù)載均衡方案，MPTCP存在以下幾個缺點：

(1)無法進(jìn)行全局路徑感知

如圖6所示的網(wǎng)絡(luò)拓?fù)渲校琇0到L1的流，若只根據(jù)L0下一跳的鏈路狀態(tài)進(jìn)行負(fù)載均衡，那么很可能在S2-L1這段鏈路上發(fā)生擁塞。