LinkedIn的持續發展使得我們必須在未來的3-5年間將我們的數據中心發展到一個宏大的規模。Altair項目是我們創建大規模可擴容數據中心的途徑。新的LinkedIn數據中心正在Oregon建設中,內部稱作LOR1,這將是我們構建的第一個大容量數據中心架構,這將引領我們將服務器的級別從萬級走向十萬級。這個數據中心的新型網絡架構可以支持根據需要擴充服務器數量,而且利用10/25/50/100的技術階梯來支持使用不同網絡連接的混合多層的服務。
在這篇博客中,我們將闡述我們是如何利用100G技術構建高度可擴容且成本高效軟件的,這將引領我們的系統進入下一代的數據中心。
LOR1網絡架構
LOR1數據中心的網絡網絡是基于一個4面5階段的Clos網絡構建,我們決定只使用1RU 的機柜構建整個數據中心的網路,以支持6位數起的服務器。
LinkedIn的四個數據中心都是基于pod配置構建的,一共64個pod,每個pod有數千臺服務器,由于pod之間獨立構建并且可以優化本地流量,為擴容及過渡到大型數據中心環境需要,我們創建了一個扁平網絡使用固定的端對端延時和過載率。我們網絡的一些特色如下:
1. 骨干網絡無過載 (1:1)
2. 端對端過載超過6:1
3. 解決端到端延遲 – 所有的交換機都是單芯單跳的
4. 只使用1RU的交換機柜
5. 整個數據中心使用同樣的交換 (32x100G)
6. 基于上述過載的六位數服務器容量
7. 網絡容量與服務數實現三級上載
8. 易于管理,易于擴容
9. 簡單!
下圖從多個層面展示了LOR1的分片架構
注意: 上圖反映了大概LOR1架構中大約10萬服務器的實現,并不實際反映出LOR1中服務器的數量。
以100G為基準技術
為了適配100G技術,我們發現自己處于一種困境當中。一方面,在一線使用的時候有很多好處,比如容量、特征、規模等;另一方面,費用是一個問題。在LinkIn我們成功打破了這個矛盾。我們利用 PSM4技術解決了這個問題。我們使用100GPSM技術并按50G劃分配置。這使我們可以從最新的交換技術中獲利,光連接的價格是使用40G光纖互聯的一半。
關注單端口的成本,40G光模塊(單點模式)如LR4-Light與PSM4模塊成本相當。但是每個PSM4模塊卻可以傳輸兩個節點而且還比LR4-Light多25%的帶寬。
從大的角度上講數據中心(即使一個較小的尺度),對于投資者的資本支出可以節省數百萬美元,而且更快更好。出于保密原因,我們不能分享具體的支出數據,但是我希望大家都根據自己的環境計算下到底能省多少錢。
這個解決方案的唯一挑戰是在一個物理端口上分享兩個邏輯端口,稱作四通道SFP (QSFP)接口。以工業上大容量交換機的觀點來看,我們有足夠的端口來處理這個問題,但是我們需要光模塊供應商給我們提供50G的模塊,PSM2或者CWDM2。這將是任何數據中心從10/40G網絡遷移到10/25/50/100G網絡的理想方式,并且將帶領整個產業進入下一個層次。我想號召一下,如果你有志于50G技術的開發,讓我們一起把它變為現實吧。
將來的開發計劃
在LinkedIn,我們計劃繼續驅動光網絡技術在一線的應用,以及未來數據中心的連接技術。我們期待200G技術和一個8通道版的QSFP,這樣就能解決QSFP的缺點,也能突破200G/400G成本高效網絡技術。我們也將繼續支持和激活數據中心各個維度的創新,從網絡和連接到服務和存儲。
綜述
我們構建了一個以100G為基線技術的高可擴展且成本高效的數據中心技術,主要利用將100G分為兩個50G的思路。我們將繼續努力建設最好的數據中心,來保證LinkedIn未來數年的應用和服務創新。
文/微笑0619(簡書作者)
原文鏈接:http://www.jianshu.com/p/f75822388f6c