Joe Kava 最初曾在芬蘭南部海岸上,負責將機器人相機送入延伸到波羅的海的地下管道中。這和他最初加入 Google 為其運營數據中心的初衷大相徑庭。在 2009 年的二月份,Google 耗資 5200 萬美元購買了一座位于芬蘭 Hamina (哈米納)的廢棄的造紙廠,他們認為這座擁有56年歷史的建筑是建設其眾多服務于大量網絡服務的大規模計算設施之一的理想場所。
這一計劃的一部分曾經考慮到了哈米納造紙廠有一個用于從芬蘭灣抽取海水的地下隧道。原本,冰冷的海水是用來冷卻造紙廠的一座蒸汽發電站的,但 Google 認為這也可以用來冷卻它的服務器。
那些機器人相機 通過遙控操作經常用在輸油管道維護中的水下設備 被用來檢測這個穿過造紙廠下方巖層的休眠已久的隧道。當結果出來時,數據顯示整個450米長的隧道都處于極佳的狀態中,到 2010 年 5 月份,它已經開始將海水運送至 Google 新數據中心內部的散熱設備中,幫助冷卻數千臺處理網絡流量的設備。得益于這條巖石隧道,Google 在哈米納的設施不需要那些在其他數據中心常看到的非常善于消耗能源的電力冷卻器。
“當有人告訴你我們已經選好了下一個數據中心的地點,是一個1953年修建的造紙廠時,你的第一反應可能是:"你在胡扯什么?",Kava 說道。"我該怎么來設計這個數據中心呢?"但我們得知那座造紙廠是用海水冷卻時非常激動……我們想盡可能讓這座設施更環保一些,而重新使用已有設備是其中很重要的一部分。”
Kava 將這評價為 Google 如何不人云亦云地建立它的數據中心,致力于創造既高效又環保的設施的極好例子。但是其實遠不止如此,Google 的哈米納數據中心是網絡時代的一個理想化象征。芬蘭的紙漿及紙制品制造商 Stora Enso 在2008年初關閉了它的 Summa 造紙廠,評價說是因為新聞及雜志用紙的生產規模的下降造成了“近些年的持續虧損及悲觀的長期盈利預期”。報紙及雜志正慢慢將市場讓給網絡服務,比如 Google 和一些其他一些大型服務,他們都是由新一代計算機數據中心提供支持的這些設施可以在消耗相比更少的能源、減輕環境壓力的同時處理巨量的負載。
Google 是這項改變的引領者,在不僅僅是芬蘭,同時還在比利時、愛爾蘭及美國建立這些新一代設施。其他緊隨其后的互聯網巨頭包括亞馬遜、微軟和 Facebook。去年,Facebook 在俄勒岡州的 Prineville 啟用了新的無冷卻器的數據中心,它使用外部空氣進行散熱。最近 Facebook 又宣布它會在瑞典離 Google 的 5200萬美元的數據中心不遠的地方建立第二個數據中心。
Google 哈米納數據中心的散熱室
Google 數據中心的秘密
Google 在2008年招聘 Joe Kava 來管理數據中心運營團隊,但很快就變成了運營與建設團隊。原本,Google 租用已有的數據中心并交由專業團隊管理,但是現在 Google 完全自己建設數據中心,到后來它已經完全使用自己的工程師來建設了。“我們過去雇用建筑及工程公司來替我們工作,”Kava 說,“由于近些年的發展,我們培養出了我們自己的天才,我們越來越多地自己完成這些工作了。”
而這些年中,Google 極少討論對于設施及其內部的硬件的設計。但是在2009年4月份的時候,這個搜索巨頭公布了一個展示他們第一個自主設計的數據中心內部的短片 推測應該是在俄勒岡州的 The Dalles 而且它也多多少少地透露了些在哈米納及比利時 Saint-Ghislain 的設施。
據 Kava 說,這兩個位于歐洲的數據中心都沒有使用冷卻器。哈米納的數據中心使用海水冷卻,而比利時的數據中心使用蒸發冷卻系統,從附近的工業運河抽取用水。“我們設計并制作了一個站內的水處理廠,” Kava 說道,“這樣我們就不用使用供應城市的可飲用水。”
一年的大部分時間中,比利時的氣候都很溫和,足以讓機房保持適宜的溫度。Kava指出,機房溫度不需要像以前那樣低。在2008年的時候,美國加熱冷凍及空調工程師協會(ASHRAE)建議數據中心的溫度應保持在 20 到 25 攝氏度之間但 Google 建議將其保持在27度以上。
“構建一個高效的數據中心的第一步……就是簡單的提高它的溫度,” Kava說,“機器、服務器、存儲陣列、任何東西在比一般數據中心保持的溫度高的多的地方都能很好的運行。對我而言,任何數據中心在18或20攝氏度以下運行都是相當可笑的。”
有時候數據中心內的溫度會太高,這時 Google 會讓員工離開建筑但是讓服務器繼續運行。“我們會有所謂的“遠足小時”或者“遠足日”。一般來說我們什么都不用做,只是告訴員工不要在那些特別熱的時間內在數據中心內工作就行了,稍后把工作趕上就好。”
在比利時這里,有時候會熱的連服務器都不能運行,這時 Google 就會將這里的工作移交給其他數據中心負責。Kava 沒有給出任何細節,但他表示這種數據中心之間的工作交接涉及到一個叫做 Spanner 的軟件平臺。這個 Google 設計的平臺曾在 2009 年 10 月的一個談論會上有所提及,但是這是 Google 第一次公開確認 Spanner 確實有在使用。
“如果真的變得很熱,需要我們來降低服務器負載時,那么是的,我們有自動化工具和系統來處理這些,比如 Spanner。”Kava說。
根據 Google 在2009年的討論會上的陳述,Spanner 是一個“存儲及計算系統,遍及他們所有的數據中心,并基于限制及使用特點來自動轉移和增加數據和計算的副本。”這包括涉及帶寬、丟包率、能源、資源及“失敗模式比如當數據中心內部出現錯誤的時候。
這個平臺展示了 Google 對于其數據中心設計的總體理念。他們自己建造東西,并且只對外透露那么些消息。它把像 Spanner 這樣的技術看作競爭優勢。但是有一點是非常明確的: Google 在重新思考數據中心。
這個理念已經不可避免的對這個行業造成了一些影響。像 Google、微軟已經開始對數據中心模塊化進行實驗運送預先裝好服務器和其他設備的容器之后可以再和其他容器一同組裝成更大的設備。至于 Facebook 公布其 Prineville 設施的設計方案對于 Google 努力讓它的設計方案保持神秘的回應說明其他人也在跟隨他們的腳步。去年晚些時候,Prineville 的城市工程師 Eric Klann 聲稱,兩家沒有透露名字的公司昵稱為 “Maverick” 和 “Cloud” 在設想根據 Facebook 無冷卻器的設計來建造服務器場,看起來 Maverick 是非 Apple 莫屬。
數據中心很大,細節很少
這個月,為了向世界表明,他們的數據中心有多環保, Google 宣布他們所有自行修建的在美國的設施都獲得了 ISO 14001 和 OHSAS 18001 認證這是國際認可的包括數據中心在內的任何活動的環境友好及安全認證。
這涉及到追蹤任何事情,從工程工具到數據中心內的梯子。“你其實能從這些審查中學到很多東西,那些你從來沒考慮過的。”Kava說。他所指的是 Google 會對數據中心設計中最細微的部分做考慮這是針對所有數據中心的。它很快還會為其歐洲的設施申請相似的證書。
在芬蘭,Google 的波羅的海的海水冷卻設計還有一個點睛之筆。Kava 解釋道,海水只是設置的一部分。在數據中心的地上,服務器散出熱氣,這些熱空氣被傳送到服務器旁邊的水冷系統中,然后 Google 將水冷系統中的水與海水混合來冷卻。當這個過程結束后,冰冷的海水已經變熱了。但是在回到海中之前,Google 會用更多的海水來冷卻它。“當我們將水排出到海灣的時候,它的溫度和灣內海水溫度會很相似,” Kava 說,“這就將對環境的影響降低到最小。”
根據 Kava 所說,公司的環境許可并沒有要求控制水溫。“這讓我自己感覺很好,”他說,“我們不是只做我們被要求做的。我們去做那些我們認為對的事情。”這是一個關于 Google 很平常的消息。但是 Kava 指出那些 ISO 認證說明這家公司正在不斷努力達到它的目標。“當局者迷,局外者清。這時第三方的加入就非常必要。”
來自像 Facebook 這類公司的抱怨是 Google 并沒有分享足夠的關于如何解決那些困擾任何大型網絡機構的問題的信息。報告指出 Google 不僅建造自己的服務器,同時還建造自己的網絡設備,但是這家公司并沒有透露多少消息。報告還指出,至少這些年,Google 已經確實開始分享更多內容了。
我們詢問了有關 Joe Kava 關于網絡設備的問題,但他拒絕回答。但他確認了 Spanner 的使用。他不斷的說到巖層隧道和波羅的海的事情。他甚至還告訴我們,當 Google 購買那座造紙廠的時候,他和他的團隊非常清楚這創造了一個超大的互聯網象征。“這沒能逃過我們的眼睛,”他說。