近日，Google公司第一次允許媒體記者進入其位于世界各地的數據中心進行參觀拍攝，向世人展示其迷宮一樣的世界。這些中心的處理器日以繼夜地處理著全球網民的搜索請求、Youtube視頻和郵件等。雖然公布的只是一些圖片和非常有限的視頻資料，且沒有詳細注釋說明，但如古老的諺語所述：一張圖片勝過千言萬語，今天我們就這些有限的圖片管中窺豹，更多的是猜測，分別從制冷、機柜、服務器、建筑等方面做一些最粗淺的分析以饗讀者，并與同行們共勉。

一、制冷篇

從下圖可以看到這個數據中心的冷站規模很大，整個房間管道林立，并且色彩斑斕非常好看。空調管道采用了Google企業標準色來區分不同管路的功能，比如綠色是冷卻水回水管、黃色是冷卻水供水管、藍色是冷凍水供水管，深紅色（或者冷機側的粉紅色管）是冷凍水回水管，白色的是消防管路等來區別不同的功能，以便運維人員快速定位并查找問題。還有在IT設備側也采用同樣五種顏色的網線等，加上不同數據中心不同主題的裝修風格，這些都是數據中心顏色標識管理的典范。下圖的左側是大型冷水機組，右側是板式熱交換器，以便在室外溫度較低時候采用板換散熱實現水側節能。Google也非常重視數據中心的耗水問題，據他們估算采用高效節能數據中心每年可節約幾億加侖的飲用水。

還有一些運營中的小細節也考慮非常周全，比如管路屋頂等地方采用了很多的電動吊裝葫蘆鏈條方便重型設備的維護更換吊裝，比如在管路底部采用了中間凹兩邊凸的滾輪型支撐，減少管路振動和拉伸形變產生的物理應力，比如樓層間的豎管采用了U型彎曲以便減少水溫變化和建筑形變帶來的隱形損傷，以及冷機周邊地面的應急排水口，最后在偌大的機房中運營人員采用同樣是Google標準色的G-bike用于現場巡視等運維和工藝細節。

二、微模塊機柜篇

下圖為美國俄克拉荷馬州的數據中心，整個機房在大量服務器LED指示燈的閃爍下顯得非常整潔和夢幻。從這個整機房的俯視圖看，數據中心采用了廠房式大開間框架結構，封閉熱通道的一排排機柜構成龐大微模塊陣列，機房頂部是供電網絡橋架和消防管路，服務器和交換機的狀態燈閃爍著，只有極少量的機房級照明。整個房間面積很大，走道以及頂部空間都非常寬敞，但設備區卻較為緊湊，機柜間冷通道才兩塊磚多點的距離（標準磚寬度為600mm），其中熱通道占用了大約兩塊磚的距離，而且服務器機柜的深度較短，也就一塊磚多些。從圖片較近處還可以發現有藍色布簾密封的地方，空缺的位置是留給服務器機柜的，這也說明了Google的服務器部署是以機架為單位快速安裝部署的。該藍色布簾密封可以隔絕冷熱氣流的混合，減少冷量的浪費，體現了精細化運營的思想。高密度的服務器采用全正面維護，頂部為密集的TOR交換機單元。 

從這個圖還可以看出Google采用創新的空調置頂散熱方式，整個機房大環境作為冷通道提供冷量給服務器吸入，加熱后的熱空氣在封閉通道內上升，然后通過熱通道頂部的空調盤管制冷并被幾個煙囪狀導風管和大散熱風扇重新循環回外部冷環境。這種空調置頂布局雖然存在著盤管漏水、更換維護較難等風險，對產品質量和施工工藝要求非常高，但是其氣流組織較為合理，比如熱氣流自動上升，冷氣流自動下沉，可以減少風扇的功耗，且機房大冷池環境可以作為緩沖池等，減少局部空調故障引發的熱保護。據相關資料顯示Google微模塊的整個熱通道溫度非常高，像個大烤箱，溫度可以達到49攝氏度，以至于一旦必須進去維護，那么服務器必須關掉才行。采用熱通道封閉可以提供一個較為舒適的現場運營環境，熱量只被限制在熱通道中并被冷凍水帶走，考慮大開間的鐵皮廠房冷量密封保溫特性不太好，但因為Google服務器的高溫工作特性（如圖中Google服務器的深度較短，大約只有600mm多的深度，散熱會比較容易），送風溫度高達27攝氏度，因此這個較高溫度下的冷量傳遞損失不會很大，圍欄效應的影響幾乎可以忽略。 

從上面這張照片可以看到Google微模塊熱通道內部的一些細節，比如熱通道寬度大約是兩塊標準地板磚，里邊安裝的是機柜頂部空調盤管的安裝支架和加固支撐，通過地板底下的快接軟管提供冷凍水給熱通道頂部的空調盤管提供冷凍水。從冷凍水管的數量和密度上看，頂部空調盤管也做了模塊化冗余設計，是個很不錯的設計。服務器全正面維護，每臺服務器采用三個分布式較大風扇散熱，綠光來自服務器內部LED狀態燈。Google自行設計的服務器采用盡可能少的能耗，并控制風扇轉速足夠低，只要服務器內部溫度不要超過設定值就可以了，處處都體現節能。

Google在供電和制冷等方面總能打破常規，而沒有采用商用的傳統UPS和精密空調方案，體現了創新顛覆的思想，甚至如右邊圖Google還申請了三明治服務器的專利，采用液冷散熱片，上下兩個服務器靠此散熱片內部的冷凍水以及循環風扇帶走熱量等。

當然也不是Google的所有機房都采用這些創新的散熱方案，比如一些網絡設備間和POD小機房等，如下面的這兩個例子。該網絡設備間采用了傳統的風管上送風或者地板下送風方式散熱，雙路冗余高可靠供電，但是在這些傳統機房模塊中Google都采用了簡單低成本的塑料簾子隔離冷熱通道方案，避免了冷熱氣流直接混合短路，也大大提高了其能源利用效率。據早期谷歌發布的一個POD機房優化視頻中可以看到，通過對這些傳統機房的精細化運營，比如機房CFD仿真改善氣流組織、采用如上的冷熱簾隔離、提高送風溫度、安裝了藍色LED燈用于照明等等措施，使得PUE從原來的2.4降低到1.5以下，這也說明即便不用很多創新的思路，通過運營優化也可以實現較好的節能優化效果。 

三、Google服務器篇：

步入Google的大型數據中心，整個機房的服務器陣列非常整齊壯觀，海量的服務器風扇同時運轉帶來巨大的噪音，以至于進入數據中心必須佩戴防噪耳塞。從下圖可以看到Google的服務器上架有兩種配置方式，分別是低密的十五六臺一個柜子，以及高密的每機柜接近三十臺左右（可能采用類似facebook的1.5U高效風扇設計），TOR交換機置頂，PDU和網絡快速接口都在左側。每臺服務器多含有2個或者更多的子機，服務器沒有前面板也無上蓋板成本更低散熱更好，服務器通常很短，采用不同顏色的網線做功能區分，網線和電源線采用快插接口，plug and play。機柜底下滾輪設計方便整機架快速部署和搬遷，全正面維護，方便現場快速維修和免工具更換。 

從這些照片也可以看到不同版本不同類型的Google服務器設計，和早前發布的帶鉛酸電池服務器設計不一樣，新版本的服務器結構更為方正美觀，但即便如此這些自行打造的簡單易維護服務器要比標準的商用服務器要便宜不少。盡管仍被視為互聯網公司，Google已經成為世界上最大的硬件制造商之一， 因為它的設備多數是自己制造的。1999 年的時候，H?lzle從“三個開電子商店的家伙”那里買了 2000 個剝離下來的電路板。通過改造，去除不必要的部件，Google 構建了自己的服務器（DIY服務器的價格是1500 美元 ，而當時的商用機價格約為5000 美元），考慮到其上百萬量級的服務器設備，那么DIY服務器帶來的成本節約會是天文數字。由于DIY簡單易維護設計，如果服務器出了故障，甚至可以免工具快速維修，如果實在無法維修則直接報廢拆解成電子垃圾回收。且Google在定制的服務器內部安裝了分布式的帶電池UPS，可以省掉傳統數據中心大量UPS的采購成本，并且采用該內置UPS可以實現供電效率99.9%，相比傳統的UPS方案也可以實現數據中心總節能15%，在能源緊張運營電費高企的今天也是非常大的費用節省。 

為了統一管理自己的服務器，Google 開發了一個軟件系統，開發者能夠通過這個系統指揮數千個電腦， 如同一個計算機一樣。在 2002 年的時候，它創造了 Google File System，可以在不同的機器上順利地傳送文件。MapReduce 是 Google 為編寫云端服務而開發的系統，它的開源版本 Hadoop 已經成為業界標 準。另外，Google 還開發了一個自動化的決策系統 Borg，用于決定那條機器最適合某項任務。這對服務器集群的穩定性提出了更高的要求。為此，Google 內部有一個團隊，叫做 SRE（網站可靠性工程團隊），他們的任務就是使用各種方法，對服務器進行破壞，以檢測公司進行危機處理的能力。每年，SRE 都會進行一次虛擬的戰爭，叫做 DiRT（disaster recovery test）。攻擊是虛假的，但是幾乎和現實一樣，危機管理人員必須按照處理程序來做，如果他們不能找出處理方式，攻擊就必須停止，以免影響到真正的用戶。

在Google公司內部的某個墻上展示著一排排的主板，那些代表著Google成立以來自己打造的不同時代的服務器，其中有一塊標明著2008年7月9日，那是Google有史以來的第一百萬臺服務器，但這是個累計的數字，并不意味著那個時間Google已經擁有百萬臺服務器的規模。

四、數據中心建筑篇

Google每個數據中心的選址都是非常謹慎的，以下圖哥倫比亞河畔的Dalles數據中心為例，選擇建設在河流旁邊開闊的谷地，且可以看到其典型的建筑風格是大開間低層廠房結構，多為結構較為合理的長條矩形狀，大型架空冷卻塔和底下的儲冷罐位于建筑邊上，附近是兩個為數據中心配套的變配電站。直接采用附近水電站便宜的綠色充足水電來給數據中心供電，空氣質量很好。類似選址的還有比利時數據中心采用運河的水處理后來散熱，以及芬蘭灣哈米納數據中心直接采用海水來給數據中心散熱，而不像國內數據中心受限于種種原因大型DC多在沿海城市，氣溫及空氣質量不好、電力容量少電費高、多層建筑租金昂貴等。 

Google的IDC選址多位于能源較為豐富，氣候條件較好的地方，一則可以大量使用綠色低成本的能源，同時還可以利用較為優越的地理氣候條件實現更為節能的自然冷卻，目前其主流的數據中心年PUE基本可以達到1.2以下的很好水平。且數據中心和周邊自然環境融合很好，比如數據中心周圍倘佯的小鹿，漫山的野花，氤氳的冷卻塔蒸汽，靜謐的河流以及雪地垂釣等，都體現了人與自然的和諧相處。

五、結語

Google非常注重自己的信息安全，這一點也可以表現在使用過的硬盤全被銷毀，就數據中心的創新技術而言，Holzle說Google付出了鮮血、汗水和眼淚，也希望其他公司也能付出自己的艱辛來自己打造，成就更多的發現和偉大。

通常Google透露出來的都是一兩代之前的技術，雖然這次這么較大規模的公開其數據中心的秘密，但一如Google自己說過的，一旦他們自己的員工看過了Google正在打造的2013年下一代數據中心和服務器集群，那么他們將無比抱怨目前的這些設計。即便如此本次披露的這些數據中心也像是一件件精美的藝術品，使用的技術也是業界非常領先的，讓我們在拭目以待Google更多更新數據中心技術的同時，也同時能夠從這些資料中學習并理會其思想，并同樣有孜孜不倦的創新精神和通過專注實現完美設計，再次與大家共勉。