6月18日消息, 三年半之前,一個(gè)包裹被快遞到了愛荷華州一個(gè)農(nóng)業(yè)小鎮(zhèn)的某辦公樓里,一段關(guān)于谷歌的神奇故事就此拉開了帷幕。
包裹里面是幾個(gè)奇怪的計(jì)算設(shè)備,它們非常的寬大扁平,就像裝披薩的盒子。盒子的一邊是密集的開口,顯然是用來(lái)接入大量網(wǎng)線用的,另一邊貼著一個(gè)“海王星交換機(jī)”(Pluto Switch)的標(biāo)簽。它們的外形與常規(guī)的網(wǎng)絡(luò)設(shè)備大相徑庭,而且盒子的背面還印著許多芬蘭語(yǔ)的字符。這個(gè)公司的工作人員顯然并不知道這些盒子的具體用途,于是有人把這些盒子轉(zhuǎn)寄到了他們威斯康辛的總部,希望那里的IT專家們可以解答這些盒子的秘密。總部的IT工作人員一開始同樣一頭霧水,但是不久之后他們?cè)谝粋€(gè)非常小眾的網(wǎng)絡(luò)論壇上得到了一些答復(fù):這些盒子是網(wǎng)絡(luò)交換機(jī),它們工作在因特網(wǎng)紛繁復(fù)雜豐富多彩的表面之下,負(fù)責(zé)在數(shù)據(jù)中心之間大量的傳輸和轉(zhuǎn)移數(shù)據(jù),并且,它們的主人是谷歌。
谷歌的確在愛荷華州的那個(gè)小鎮(zhèn)附近設(shè)有數(shù)據(jù)中心,所以顯然是郵遞員粗心把這個(gè)設(shè)備寄到了錯(cuò)誤的地址。這個(gè)公司的工作人員把這些盒子兩兩裝好之后寄給了谷歌,并且迅速的從那個(gè)論壇上銷聲匿跡,但是他們?cè)谡搲显?jīng)發(fā)過的照片和技術(shù)討論還是為人們打開了一扇窺探谷歌帝國(guó)內(nèi)部的神秘網(wǎng)絡(luò)世界的窗戶。它指向了一個(gè)也許會(huì)改變整個(gè)互聯(lián)網(wǎng)世界的神秘項(xiàng)目,而谷歌卻從未在公開的場(chǎng)合談?wù)撨^它。
圖為谷歌代號(hào)為”海王星“(Pluto)的高性能架頂式交換機(jī)
多年以來(lái),谷歌在搭建自己的服務(wù)器網(wǎng)絡(luò)時(shí)并沒有使用傳統(tǒng)網(wǎng)絡(luò)設(shè)備商的設(shè)備,他們并沒有大規(guī)模的購(gòu)買思科,惠普或者愛立信的交換機(jī)和路由器。為了適應(yīng)谷歌急速擴(kuò)張的服務(wù)器網(wǎng)絡(luò),他們專門設(shè)計(jì)了自己的網(wǎng)絡(luò)設(shè)備并且為他們編寫了自己的軟件用于配置和管理自己的網(wǎng)絡(luò)。而直到這次陰差陽(yáng)錯(cuò)的郵遞員事件,外界才第一次看到這些設(shè)備的真容。由于這個(gè)項(xiàng)目對(duì)于谷歌的重大意義,在對(duì)外界保密的同時(shí)谷歌一直在持續(xù)增加對(duì)這個(gè)項(xiàng)目的投入。直到今天早上,在硅谷的一個(gè)技術(shù)會(huì)議中,來(lái)自谷歌的Amin Vahdat才第一次作為這個(gè)項(xiàng)目的負(fù)責(zé)人展示了支撐谷歌網(wǎng)絡(luò)帝國(guó)長(zhǎng)達(dá)10年的前5代的硬件軟件解決方案,并且對(duì)這個(gè)領(lǐng)域的一些基礎(chǔ)技術(shù)進(jìn)行了介紹和探討。這些探討對(duì)于整個(gè)互聯(lián)網(wǎng)世界都具有一定的前瞻性,畢竟未來(lái)會(huì)有更多的互聯(lián)網(wǎng)公司將要走上谷歌已經(jīng)走過的路。
圖為Amin Vahdat, 谷歌“消防水管”(Firehose)項(xiàng)目的負(fù)責(zé)人
Amin Vahdat最早是UCSD的教授,他的研究領(lǐng)域就是網(wǎng)絡(luò)的拓展,當(dāng)意識(shí)到在學(xué)術(shù)圈的世界里已經(jīng)無(wú)法構(gòu)建規(guī)模足夠大的網(wǎng)絡(luò)之后,他來(lái)到了谷歌。據(jù)Vahdat介紹,谷歌這個(gè)秘密項(xiàng)目名字叫做“消防水管”(Firehose),始于2004年。到2005,2006年的時(shí)候,這個(gè)項(xiàng)目的產(chǎn)品已經(jīng)部署在谷歌若干個(gè)數(shù)據(jù)中心日夜運(yùn)行。除了快遞員投錯(cuò)的那些類似于“高性能架頂式”(Top-of-Rack)交換機(jī)的產(chǎn)品,他們還開發(fā)了另外一種用于連接大規(guī)模網(wǎng)絡(luò)之間相互連接的“集群交換機(jī)”(Cluster swtiches)。不僅如此,谷歌甚至還設(shè)計(jì)開發(fā)了自己專屬的路由協(xié)議和網(wǎng)絡(luò)管理軟件。對(duì)此Vahdat的解釋是:“那時(shí)的設(shè)備完全不能應(yīng)付我們的網(wǎng)絡(luò)所需要處理的帶寬和數(shù)據(jù)吞吐量,那樣的設(shè)備在這個(gè)星球上根本就不存在。”
談到消防水管這個(gè)項(xiàng)目最初的動(dòng)機(jī),Vahdat表示主要有兩個(gè)方面,一方面在于谷歌的服務(wù)器網(wǎng)絡(luò)擴(kuò)張?zhí)欤瑐鹘y(tǒng)網(wǎng)絡(luò)設(shè)備商的產(chǎn)品已經(jīng)無(wú)法滿足他們?cè)诟鱾€(gè)不停擴(kuò)張的數(shù)據(jù)中心之間快速交換數(shù)據(jù)的需求;另一方面谷歌也需要為這個(gè)長(zhǎng)期持續(xù)的挑戰(zhàn)找到一個(gè)低成本的解決方案,運(yùn)用傳統(tǒng)的手段搭建谷歌所需要的規(guī)模的數(shù)據(jù)中心和網(wǎng)絡(luò),成本將是真正意義的天文數(shù)字。而這個(gè)低成本的解決方案就是大量購(gòu)買價(jià)格低廉的民用級(jí)的芯片,并且讓他們協(xié)同工作完成交換處理海量數(shù)據(jù)的任務(wù),聽起來(lái)很像當(dāng)下被炒得火熱的云計(jì)算的概念雛形。
十幾年之前當(dāng)谷歌剛剛開始搭建自己的服務(wù)器網(wǎng)絡(luò)時(shí),他們的選擇跟其他所有公司如出一轍。他們嘗試從思科購(gòu)買最大最強(qiáng)的集群交換機(jī)(Cluster swtiches),在每個(gè)數(shù)據(jù)中心的內(nèi)部,這些集群交換機(jī)構(gòu)成了網(wǎng)絡(luò)的骨架。每一部這樣的集群交換機(jī)都要花費(fèi)谷歌幾十萬(wàn)到幾百萬(wàn)美元,而每一部這樣的交換機(jī)上只有固定數(shù)量的網(wǎng)絡(luò)接口可以連接到其他的交換機(jī),這意味著搭建一個(gè)可以滿足谷歌需要的數(shù)據(jù)網(wǎng)絡(luò)將會(huì)耗費(fèi)無(wú)盡的美元。“那時(shí)候我們的采購(gòu)只會(huì)跟他們說,嘿哥們,把你們現(xiàn)有最牛的交換機(jī)給我們,只要最牛的。”
于是從2004年開始谷歌內(nèi)部成立了一個(gè)小組開始研究自己的網(wǎng)絡(luò)設(shè)備解決方案。這個(gè)方案簡(jiǎn)而言之就是用普通的民用級(jí)芯片搭建通用的硬件,然后在上面跑任何需要運(yùn)行的軟件。思科為不同級(jí)別的需求提供不同的硬件,并每套硬件上面都運(yùn)行特定的相匹配的軟件。而谷歌的解決方案則簡(jiǎn)單粗暴的多,所有的硬件都是相同的,面對(duì)不同的需求時(shí)解決方案的差別僅在于一起協(xié)作的硬件的數(shù)量,一個(gè)“高性能架頂式”交換機(jī)就相當(dāng)于一個(gè)“集群交換機(jī)”上的一塊板,性能的提升幾乎等同于數(shù)量的疊加,而這些相同的硬件都可以運(yùn)行任何需要運(yùn)行的軟件。根據(jù)Vahdat的介紹,現(xiàn)在谷歌“朱庇特”(Jupiter)系列集群交換機(jī)的處理能力已經(jīng)達(dá)到了每秒40Tb,等同于4000萬(wàn)個(gè)家庭用戶接入的帶寬和吞吐量。
圖為谷歌的”朱庇特“(Jupiter)系列集群交換機(jī),每秒可以處理40Tb的數(shù)據(jù),相當(dāng)于4000萬(wàn)家庭用戶接入的吞吐量。
相較于硬件,Vahdat對(duì)于他們解決方案的軟件部分言之甚少。但是他透露他們的網(wǎng)絡(luò)設(shè)備運(yùn)行在Linux的系統(tǒng)之上,他們還開發(fā)了自己的路由協(xié)議“火線”(Firepath),用于判斷數(shù)據(jù)交換時(shí)的最佳路徑。在網(wǎng)絡(luò)世界里工業(yè)標(biāo)準(zhǔn)的路由協(xié)議是BGP和OSPF,開發(fā)自己的路由協(xié)議是非常罕見的現(xiàn)象。Vahdat解釋說在他們開始搭建網(wǎng)絡(luò)的時(shí)候這些標(biāo)準(zhǔn)協(xié)議還不像今天這般簡(jiǎn)單和高效,而他們將要搭建這個(gè)世界上最大最復(fù)雜的網(wǎng)絡(luò),所以他們需要一個(gè)更加簡(jiǎn)單快速可擴(kuò)展的方案。“火線”協(xié)議的細(xì)節(jié)無(wú)比復(fù)雜,如果要介紹它的優(yōu)勢(shì),一言以蔽之,“火線”的用戶可以通過一個(gè)中央控制軟件來(lái)統(tǒng)一配置整個(gè)網(wǎng)絡(luò)的行為,而在傳統(tǒng)的網(wǎng)絡(luò)世界里如果想要達(dá)到同樣的效果,網(wǎng)絡(luò)管理專家們必須對(duì)網(wǎng)絡(luò)中的每個(gè)交換機(jī)一個(gè)一個(gè)的單獨(dú)配置。
谷歌的服務(wù)器網(wǎng)絡(luò)很可能是世界上最大的一個(gè)。一個(gè)驚人的事實(shí)是,如今谷歌網(wǎng)絡(luò)內(nèi)部數(shù)據(jù)中心之間交換的數(shù)據(jù)量已經(jīng)超過了谷歌和整個(gè)互聯(lián)網(wǎng)之間交換的數(shù)據(jù)量。如今像微軟,亞馬遜和Facebook也都面臨著和谷歌類似的挑戰(zhàn),而他們也各自進(jìn)行著類似的項(xiàng)目。Facebook從一開始就公開了他們的SDN(software-defined networking)計(jì)劃,而美國(guó)最大的網(wǎng)絡(luò)服務(wù)提供商AT&T也已經(jīng)在緊鑼密鼓的進(jìn)行著向這種新的網(wǎng)絡(luò)技術(shù)的遷移。
SDN技術(shù)發(fā)展到現(xiàn)在,憑借其低成本,高靈活性和幾乎無(wú)限的擴(kuò)展性的巨大優(yōu)勢(shì),已經(jīng)給傳統(tǒng)的網(wǎng)絡(luò)設(shè)備商帶來(lái)了前所未有的挑戰(zhàn),而這種挑戰(zhàn)很可能是顛覆性的,它意味著傳統(tǒng)網(wǎng)絡(luò)設(shè)備商們的蛋糕整個(gè)變小了,而且將越變?cè)叫 .?dāng)谷歌微軟這樣的巨頭紛紛拋棄思科們的時(shí)候,那些中小規(guī)模的公司一樣會(huì)因?yàn)镾DN的種種優(yōu)勢(shì)而希望轉(zhuǎn)投SDN的懷抱,他們之所以還不能這樣做是因?yàn)樗麄儾幌衲切┚揞^公司一樣有足夠的資源來(lái)設(shè)計(jì)開發(fā)自己的硬件軟件和解決方案。于是一批新的創(chuàng)業(yè)公司應(yīng)運(yùn)而生,他們專門為其他公司提供新一代的網(wǎng)絡(luò)解決方案,“當(dāng)你只需要花很少的錢買一堆廉價(jià)芯片并且用一個(gè)中央控制軟件就可以配置整個(gè)網(wǎng)絡(luò)的時(shí)候,昂貴而又復(fù)雜的傳統(tǒng)網(wǎng)絡(luò)解決方案看起來(lái)如此笨拙不堪一擊。”如今Nicira (已經(jīng)被VMware收購(gòu)), Big Switch Networks, 和 JR Rivers’ Cumulus Networks等公司的蓬勃發(fā)展已經(jīng)證明了SDN大勢(shì)的不可阻擋,網(wǎng)絡(luò)世界注定將要迎來(lái)一場(chǎng)革命。