Google數據中心和基礎設施是業界公認最為先進的,以往他們保密做得很嚴,所以所有相關的信息透露都會引起關注。畢竟,現在大紅大紫的Hadoop最初就是山寨人家的幾篇論文而已。
網易上的文章 介紹了Google數據中心中的網絡設計,這方面信息之前是很稀缺的。文章應該是摘譯自 Wired 。Wired文章的特點是八卦信息多(因為他們要寫的是故事,不是技術本身),技術細節少,還時常有技術錯誤(至少這篇文章里Jupiter交換機處理能力的數據就是過時的),但對了解一件事兒的來龍去脈還是有用的。
文中大致說的意思,就是Google很早就開始自己研發網絡設備了,因為他們的系統增長很快,思科之類的設備滿足不了需要(勉強能用也貴得要死),反正和云計算其他領域是一樣的:互聯網公司發展遠遠超出傳統IT的范圍,所以只好自己玩了。
反正Google這種公司能招到最好的人才,業界沒有就直接挖學校的教授(Amin Vahdat就是因為做過相關研究 PortLand 被請過去的)。然后用普通芯片加上Linux搞定交換機,自己設計網絡協議,自己設計網絡控制軟件。最后做出來超級大的網絡系統。相關的技術還有 SDN 。
比較引人注目的點是:“如今谷歌網絡內部數據中心之間交換的數據量已經超過了谷歌和整個互聯網之間交換的數據量。”
好在Google負責網絡的Fellow Amin Vahdat 還寫了一篇 官方博客 介 紹他們的數據中心網絡設計,強調是第一次公開Google內部五代網絡技術的細節,從Firehose到Jupiter,最新的Jupiter可以提供 1Pb/s的總對分帶寬,足夠10萬臺服務器每臺之間以10Gb/s交換信息,可以在十分之一秒之內讀取所有美國國會圖書館的掃描數據。
不過文章很短,語焉不詳,只說了幾條原則:
以 Clos拓撲 安排網絡,這種網絡配置用一組較小(較便宜)的交換機來提供一臺大得多的邏輯交換機的功能。
使用集中化的軟件控制棧來管理數據中心中的數千交換機,讓它們像一臺大的fabric那樣工作。
自建軟件和硬件(使用來自Broadcom等供應商的芯片),不太依賴標準Internet協議,更多使用根據數據中心定制的協議。(Wired文章里說定制協議叫Firepath,比BGP和OSPF之類更簡單、更快也更容易擴展)
好在Google管基礎設施的老大Urs H lzle在博客下面評論說:“等著我們的論文吧,8月的SIGCOMM 2015。” 他們在 SIGCOMM 上已經提交的論文名為“Jupiter Rising: A Decade of Clos Topologies and Centralized Control in Google’s Datacenter Network ”。
讓我們拭目以待吧。