Google將其數據中心技術作為一個核心競爭力，很少對外公布其技術細節，因此搜索巨人的數據中心一直是個謎。近日，谷歌公布了其數據中心能耗發展的圖表，在圖表中顯示近年來谷歌在能耗控制方面有了明顯的進步。在2010年第一季度，谷歌新建的數據中心綜合電力使用效率為1.16（PUE），其中一個數據中心的PUE值達到了1.09。從公布的這些圖表中，在縱向上我們可以看到Google在全球各地的多個數據中心PUE控制都已經達到非常高的水平；在橫向上看曲線整體傾斜向下，說明還是個逐步改進、不斷優化的精細化運營調優過程。這些圖表的另一個顯著特點是各個數據中心的PUE值隨著時間軸，不管是在不同的季節，還是在一天的不同時間點上都表現出較大的波動性，說明Google數據中心的自然冷水平非常高。結合室外自然環境溫度，盡量利用外界冷源帶走熱量，能不開啟機械制冷就不啟動。在散熱方面只給夠用的冷量，絕不浪費。

左：Google多個數據中心的多年PUE曲線 右：Google某一數據中心的日PUE曲線

 本文針對Google數據中心的這些特點，將介紹Google位于歐洲的三個不同實現自然冷卻方式的機房，這些機房都實現了100%自然冷卻，都是沒有chiller（制冷機組）的典型應用案例，分別是比利時水側自然冷數據中心、愛爾蘭空氣側自然冷數據中心和芬蘭海水直接冷卻數據中心。

當然本文提到的這些數據中心技術和機房所在當地的氣候、政策、資源等相關，且屬于完全定制的數據中心，不好為國內直接移植和借用，但思路和創新精神非常值得國內同行學習借鑒。

1、比利時數據中心

Google比利時的數據中心位于Saint - Ghislain，該數據中心的第一階段在2008年初投入，并于2011年Q1完成全部階段設計。2011年Q1的PUE可以低達1.09，而全年平均PUE可達到1.11。該數據中心采用蒸發冷卻系統，從附近的工業運河抽取用水。“我們設計并制作了一個站內的水處理廠，”Kava說道，“這樣我們就不用使用供應城市的可飲用水”。該數據中心利用運河的冷水來帶走熱量，并自己修建水處理廠，再將處理后的運河水給數據中心提供冷量，只采用冷卻塔來散熱，無chiller，實現了100%水側自然冷機房，是谷歌的第一個完全自然冷的數據中心。

距離數據中心大約400米外的工業運河，Google建設了現場的水處理工廠，直接從運河中抽取河水。由于運河的水質比較糟糕，必須過濾處理并凈化到工業用水標準，但Google也不會將河水過濾處理到非常干凈的水平，只要可用于制冷散熱即可。然后用水泵將凈化后的冷水輸送到模塊化儲冷大水罐，再供給到各個冷卻塔，用于后續蒸發冷卻。這個過程結果不僅冷卻了服務器，還清潔了水源，當地的部長也稱贊Google說這是一次雙贏的合作。

整個水處理廠的污水處理過程如下圖所示：

Google在比利時的數據中心中采用了模塊化的無chiller自然冷卻系統，通過下圖中的熱交換器熱交換原理，將室內的熱量通過存于水箱中溫度較低的、處理過的運河水從冷卻塔帶走，實現無需機械制冷的目的。

比利時的氣候幾乎可以全年支持免費的冷卻，平均每年只有7天氣溫不符合免費冷卻系統的要求。Kava指出，機房溫度不需要像以前那樣低。在2008年的時候，美國加熱冷凍及空調工程師協會（ASHRAE）建議數據中心的溫度應保持在20到25攝氏度之間--但Google建議將其保持在27度以上。“構建一個高效的數據中心的第一步就是簡單的提高它的溫度，”Kava說，“機器、服務器、存儲陣列、任何東西在比一般數據中心保持的溫度高的多的地方都能很好的運行。對我而言，任何數據中心在18或20攝氏度以下運行都是相當可笑的。”

在比利時這里，有時候會熱的連服務器都不能運行，這時 Google 就會將這里的工作移交給其他數據中心負責。Kava 沒有給出任何細節，但他表示這種數據中心之間的工作交接涉及到一個叫做 Spanner 的軟件平臺。這個 Google 設計的平臺曾在 2009 年 10 月的一個談論會上有所提及，但是這是 Google 第一次公開確認 Spanner 確實有在使用。

根據 Google 在2009年的討論會上的陳述，Spanner 是一個“存儲及計算系統，遍及他們所有的數據中心，并基于限制及使用特點來自動轉移和增加數據和計算的副本。”這包括涉及帶寬、丟包率、能源、資源及“失敗模式--比如當數據中心內部出現錯誤的時候。

2、愛爾蘭數據中心

Google愛爾蘭的數據中心位于都柏林，由于是已有退役建筑--市長大廈翻新改造而成的，由于Google在歐洲沒有足夠的運維人員，所以希望將該數據中心設計成空氣側的自然冷卻機房。該數據中心實現了100%的空氣測自然冷卻，采用直接蒸發制冷技術，并且定制了個熱回收單元，全部工程完成于2010年上半年，是Google在歐洲的第二個無chiller數據中心。

都柏林具有非常好的氣候條件，一年絕大多數時間天氣都非常不錯，由于該數據中心受已有建筑結構和散熱供水等的限制，沒法安裝大型的冷卻塔，因此采用了模塊化的AHU方案。

從室外取自然空氣送入到混風室跟機房內回風混合，經過濾和加濕等環節，用AHU風扇送到直接蒸發盤管進行冷卻，最后通過送風管道進入機房。進入機房的冷空氣經IT設備加熱后，采用熱通道封閉方案隔離熱氣流，部分參與回風，部分則直接排放到室外。直接蒸發制冷技術在夏天用于調峰，比如在高溫天氣冷卻室外熱空氣，也可以在干燥的冬天用于機房濕度調節。

3、芬蘭海水制冷數據中心

在2009年的二月份，Google耗資5200萬美元購買了一座位于芬蘭Hamina（哈米納）的廢棄的造紙廠，他們認為這座擁有56年歷史的建筑是建設其眾多服務于大量網絡服務的大規模計算設施之一的理想場所。Google和DLB公司一起將其進行改造設計成數據中心，目前已經完成第一階段的測試和運行。

這個數據中心的獨特之處在于采用了100%的海水散熱。Google利用該造紙廠已有建筑，包括造紙廠原有水下通道，并采用模塊化制冷單元和閉式的內循環冷凍水（淡水）對開式的外循環冷卻水（海水）的熱交換器傳熱，然后將升溫后的海水送到室外的溫度調節房，這個房間的主要作用是將送出的熱水和進入的新鮮海水進行混合。在回到海中之前，Google會用更多的海水來冷卻它。“當我們將水排出到海灣的時候，它的溫度和灣內海水溫度會很相似，”Kava說，“這就將對環境的影響降低到最小。”雖然這個數據中心供回水的Delta T和取得的PUE值Google暫時沒有透露，但相信應該是非常低的水平。

根據Kava所說，公司的環境許可并沒有要求控制水溫。“這讓我自己感覺很好，”他說，“我們不是只做我們被要求做的。我們去做那些我們認為對的事情。”這是一個關于Google很平常的消息。但是Kava指出那些ISO認證說明這家公司正在不斷努力達到它的目標。“當局者迷，局外者清。這時第三方的加入就非常必要。”

當然采用海水來散熱有很多技術上的挑戰，需要做熱仿真，包括各個季節海水的不同溫度、水垢帶來的影響，以及海水對管路的腐蝕性等。比如在Hamina數據中心中Google采用了玻璃纖維材料的水管（上圖中乳白色管道）用于防止海水腐蝕，并在熱交換器上采用了鍍鈦的板換疊片等技術。雖然這些技術在數據中心行業中也許還比較新，但海水散熱在其他行業中也有較多應用，因此可以從相關行業學習這些經驗和教訓。

為了保障設計可行，在概念設計階段Google做了很多熱仿真工作。采用CFD技術，驗證了風向和風強等對海水溫度的影響，以及不同時間海水的潮汐效應。另外還需要考慮芬蘭灣水位高低，海水溫度變化和鹽度大小以及海藻等對機房散熱的影響。Google還根據該地區過去三十年海水溫度的數據，來確定管道從哪里取水和哪里排水，以及進出水口安裝水面下面多深的地方等。

采用海水來冷卻還有一些需要考慮的地方，由于不好直接采用化學過濾等，因此海水換熱器的設計就非常關鍵了。Google在Hamina的設計中采用了四重的海水過濾系統，分別是粗效過濾、沿途過濾、藥劑過濾和高效過濾器環節，并為了長期維護方便現場建設了可更換的CIP（clean in place）過濾環節。

此外還有需要注意的地方是大型海水冷卻泵的水擊（water hammer）作用導致的損壞，該損壞主要來自閥門快速關閉時對管路帶來的強烈沖擊，產生的原因是關閉閥門后水被抽走導致的管內真空，從而管內外壓力差很大。而用于防止海水腐蝕采用的玻璃纖維材料的水管強度不夠高，在水擊發生時的壓力下容易造成管路爆裂，為此Google專門設計了個空氣輸入閥門，來控制壓力差變化并緩沖其帶來的沖擊。

總之海水冷卻并不適合于所有人，設計中需要專業的工程學知識和技術，需要考慮很多東西，并且前期投入較大，因此對于小規模的數據中心建設并不劃算，但應用在大體量的數據中心會帶來非常多的益處。“對于某些規模較小的數據中心運營商/用戶來說，（新型海水冷卻系統）可能不具有經濟效益，但它卻有社會效益。它可以提供一個可靠的熱源--芬蘭海灣每年都會結凍，”Kava說道。還有，海水由于常年溫度變化小且可預計，是非常穩定可靠的冷源，且可以幾乎沒有傳統空調水系統帶來的水消耗問題，并可以得到非常低的PUE值。

綜上所述，谷歌的三個數據中心采用了完全不一樣的方式，但都實現了100%的自然冷卻，達到了高效率的制冷方式，并實現了簡單可靠的設計。因此自然冷卻可以有很多種方式，且沒有絕對的優劣。實現方式和當地的各種條件關系非常大，比如地理位置、氣候等，因此不要局限于某一種固定的解決方案，而應該考慮長期的TCO。