谷歌在過去10年中一直在建設自己的數據中心。搜索巨頭的數據中心非常高效，利用了可再生能源，并盡可能保護環境。目前Google依舊大舉投資數據中心，最近三個月投資了16億美金，不得不說科技真的是第一生產力。
其實，很多年來，谷歌都有其獨特的建造標準，比如說當地是否有良好的勞動力資源，又或者有沒有一個強大的電網接入能力，這可能是一個很關鍵的資格審核標準。最近谷歌還增加了綠色問題考量的比重，比如說谷歌會考慮當地有沒有提供可再生的能源供應的能力。
谷歌運營副總裁Joe Kava表示，在谷歌的理念中，長期效益不僅僅是指谷歌如何使用電力來供應服務器，如何更快速的設計和建造數據中心同樣也非常重要。他指出，位于喬治亞州的數據中心歷時16個月完工，而不是耗費2到3年的時間。谷歌已經建立了一整套設計和建造數據中心的標準流程。谷歌通過模塊化、低成本的設計來縮短數據中心的交付周期。
6年前，谷歌在亞特蘭大建設一處數據中心耗費了16個月時間。目前，在大樓建好之后，谷歌通常只需要不到1年時間來完成數據中心的建設。因此除了技術領先之外，我們還經常感嘆于國外互聯網公司快速的數據中心設計建設交付能力。相比之下，國內大規模數據中心從規劃設計到建成投產，整個周期往往長達2到3年。對于快速變化的互聯網行業，很多業務可能在不到一年內就爆發，或者說等機房建好之后就早已消亡，因此時間就是生命，效率就是金錢，兩三年的數據中心建設時間是不能接受的，因此非常有必要研究一下國外這些領先公司的數據中心建設方法，以滿足業務多變和快速需求的能力。本文謹以谷歌數據中心的特點以及建設方法做些最粗淺的分析，純屬拋磚引玉，目的在于讓更多同行來研究進步。
一、建筑布局篇
圖1是谷歌比利時數據中心的全景圖，這是一個較為典型的谷歌特色數據中心，從空中俯視看到的龐大體量和氤氳升騰的水汽，絕對會讓人聯想到現代化的超級信息處理工廠，或者說全力巡航的超級信息航母，雖然用航母來比喻不太恰當。但正是這些散布在全球的超級數據中心，通過谷歌全球光纖和Spanner調度系統連接在一起成為超級航母戰斗群。據統計目前發送給和發送自谷歌服務器的流量如今占到了全美互聯網總流量的四分之一，全球月獨立訪問用戶數超過10億，成為全球互聯網行業的超級巨擘。
從前面的照片上看，谷歌的數據中心建筑結構非常簡單，主體機房為寬而矮的單層或者雙層建筑結構，船體的中后兩艙為兩個長寬形主體機房模塊;船頭為機房配套的功能區域，如安保辦公、設備拆包、接入弱電等;船體左側為模塊化變配電柴發區域，船體右側是模塊化空調散熱儲水區域，水電分區，兩翼作為巡洋艦和護衛艦等保障航空母艦的穩定可靠運行。
由于建筑建構非常簡單，因此機樓主體建筑的建設時間也可以大大縮短，特別是采用了框架式大開間結構，以及整體墻板拼接模式，機房框架的建設時間非常短，只有不到兩個月的時間即可完成。大開間結構和墻板拼接模式不但建設進度快，而且建筑材料可回收利用更為綠色環保，此外也便于大型設備搬遷進出機房區域等，更為適合大型數據中心建設模式。我們一起來回顧一下2007年始建的Google Iowa州數據中心的一些施工圖片，2007年6月，Google在 Iowa 州 Council Bluffs 的數據中心啟動建設，經過平整土地和簡易樁基搭建起了如圖2(a)的數據中心支撐框架，再經過圖2(b)中的工廠預制整體墻板吊裝拼接，以及其他道路防護等工程，整體機房建筑經過7個周多的施工，即可完工。
機房主體建設的同時或者稍后，同步開展的還有機房兩翼的機電支撐設備安裝，前面我們提到了谷歌采用模塊化的供電和散熱模塊，因此其機電工程建設也可以采用模塊化分期按需建設。供電方面，通過室外型的變壓器和配電柜以及集裝箱柴油發電機，按模塊分期建設。散熱方面，采用雙層鋼結構框架，如圖3(a)空調系統建設過程和圖3(b)竣工階段的照片可以看出，鋼結構上層用于安裝冷卻塔，下層用于分布式儲水罐，同樣可采用模塊化分期按需建設。由于谷歌機房多選址于氣候涼爽電費便宜的偏遠地區，土地也較為便宜，因此建筑容積率不是很大問題，但因國情不同，國內市區的多層建筑結構機房則難以采用此模式。
介紹完了機房外景，谷歌Council Bluffs數據中心的內景則如圖4所示，一萬多平方米的偌大機房空間內密布著無數的IT機柜和服務器，以及頂部的供配電母線槽和架空地板下的冷凍水供水管，服務器散熱則由機柜熱通道頂部的置頂空調盤管完成。由于該數據中心只是單層建筑結構，整個機房大空間作為冷通道，除了部分支撐柱和少量功能間之外，基本沒有其他物理分隔。采用水消防技術沒有傳統機房的氣體分區限制，市電直供和母線槽技術也消除了傳統機房的專用電力和電池室需求，采用空調置頂散熱技術則不用傳統機房兩側的精密空調房，還有變配電和柴發外置以及冷凍站專門區域布置，使得機房空間內變得非常簡潔。這些具體的技術實現，先按下不表，后面會再詳細展開。
由于機房建筑結構非常簡單，且大型機電設備大多外置，因此谷歌數據中心內的空間利用率很高，可以把很大部分的地板空間用于擺放IT機柜，因此每機柜容積比很低，大大提升了機房內的空間利用率。圖5是國內外部分數據中心的機房空間利用效率對比數據，可以看到谷歌數據中心內的空間利用方面有很大的優勢。
二、供電部分
圖6是谷歌某個數據中心的供電側照片，由于谷歌的數據中心體量通常都很大，比如達到30-40M以上的用電，因此往往機房周邊專門區域建設有專用的變電站給龐大的機房供電。
這里由于篇幅有限，中壓部分就不再展開，但其總體思路是采用中壓配電傳輸到機房邊上，靠近負載就近經變壓器降壓成低壓，再通過低壓母線排傳輸到機房內。從圖6我們可以看到模塊化的戶外型變壓器及低壓配電柜環繞機房周邊，采用集裝箱型的柴油發電機組作為變配電的供電投切備份，柴發風管直立到屋頂上排風。經過變壓器變壓后的市電通過母線槽或者線纜直連到機房內的機柜上方，直接給自帶分布式UPS的服務器供電。
前面圖4我們已經介紹過了谷歌的數據中心內部，母線槽是架設在機柜的頂部的，由前面圖6介紹的室外變壓器降壓后直接通過母線槽的方式架設在每排機柜頂部，再用機柜頂部的配線盒連接到機柜PDU。由于谷歌定制的服務器上自帶有分布式小UPS，因此谷歌的數據中心內部不再有UPS室和電池室等，也沒有列頭柜等二次配電環節，每個服務器直接市電直供，每個機柜也直接從機柜頂部的母線槽上安裝的配線盒取電。如圖7(a)的這種供電架構非常簡單清爽，大大減少了線纜的采購和工程施工，而且非常靈活便于擴充機柜和帶電檢修維護，運營起來也非常簡單，還可以根據機柜的功率和用電可靠性情況靈活調整配線盒來滿足不同設備的供電需求，機房的空間利用率也非常高。
如圖7(b)所示谷歌的帶小UPS的市電直供服務器大家都應該非常了解了，這里不再詳述只簡要介紹，其原理是在服務器內安裝底部的12V黑色鉛酸電池用于市電停電保護，市電正常時候，由于沒有外部UPS，市電直接給服務器供電，達到99.9%的供電效率;當市電停電后，直接掛接在12V輸出上的電池短時放電，直至室外的柴發啟動恢復服務器電源帶載。電池參與放電的時間基本不到一兩分鐘，因此電池的容量很小，大約只有3.2Ah，備電時間遠遠小于傳統數據中心15到30分鐘的電池備電需求，因此對柴發的啟動要求很高。我們前面知道谷歌的柴發是模塊化直接安裝在變壓器旁邊的，很有可能是低壓柴發，其啟動很快。而且每臺柴發對應一個變壓器，沒有復雜的柴發并機以及啟動時序等問題，因此正常情況下柴發啟動時間可以控制在幾十秒以內，一兩分鐘的電池備電時間基本上是夠了，但這對運維水平要求就非常高了。當然谷歌的軟件架構和業務備份方面也足夠強壯，甚至部分設備停電也不會影響到業務正常運行，因此只有強大的技術實力才可以采用這種供電架構。
前面詳細分析了谷歌數據中心的供電架構，那么從建設的角度來看，由于數據中心外部采用了工廠預制模塊化的變配電和集裝箱柴發單元，靈活配置按需模塊化建設;而數據中心內部，通過架設好機柜頂部吊裝的母線槽，后面再根據機柜的部署進度按需安裝機柜配線盒，還可熱插拔即插即用，沒有復雜的線纜施工過程并大大減少線纜及配電施工質量問題，把傳統數據中心的機電工程安裝，變成了簡單的工廠預制產品拼接，大大縮減了項目建設時間。
三、空調部分
前面圖3我們簡要介紹了谷歌數據中心空調系統建設過程，即采用雙層鋼結構框架，下層安裝儲水罐，上層用于安裝空調冷卻塔。圖8是典型的谷歌chillerless數據中心示意圖，從這個圖可以清楚看到空調模塊和供電模塊南北一一對應，分別給機房內的對應區域供水和供電，模塊化按需建設。對于空調部分，鋼結構上層的冷卻塔分為兩種，白色的是大型開式蒸發冷卻塔，而灰色三個并排的是閉式自然冷干冷器，分別用于不同季節的空調散熱。在夏天會采用白色的開式系統散熱，冬天則采用更為節能節水的灰色閉式干冷器。鋼結構下層則為多個白色的儲水罐，用于儲存冷卻塔散熱后的冷卻水，兼作為市電停電或者冷機重啟階段用的儲水池，保證持續供冷。儲水罐兩側還有散熱水泵和板換等，后者用于機房內的冷凍水和機房外的冷卻水換熱。在此機房的右下角還有兩個冷卻塔系統專用的柴發，用于給這些冷卻塔系統做掉電保護，和儲水罐一起配合來確保數據中心持續供冷。
谷歌的目標是使用盡可能少的能源來為谷歌的產品提供動力，因此能不用機械制冷的冷水機組就盡量不用，而谷歌的高效冷卻塔系統就是在這方面所做的努力的典型。在北歐的幾個數據中心都實現了無冷水機組機房的設計和應用，但在一些夏季比較炎熱的地區，谷歌還是建設了冷水機組，以防溫度或濕度過高情況下無法只依靠冷卻塔來排熱。谷歌只在萬不得已的時候才使用這些裝置，一年中大部分時間都是靠板式換熱器散熱，盡量不開啟冷機。
如圖9所示的采用大型冷水機組的數據中心內，谷歌也是采用了模塊化的建設思路。圖10中在機房建設的初期，一次性建設好空調水系統的大型環網主干管路， 并采用隔離閥將這些主干管路在多個機房模塊間隔離分區，避免新建模塊機房的管路影響到已投產機房模塊。大型主干管路上預留有一個個的冷卻模塊接入閥門，以及連接到機房內部的多個水平支管。每組冷卻模塊和水平支管對應一定排數的服務器機柜，比如可以覆蓋4-5長排的機柜排等，不斷按需擴容建設冷卻模塊和水平支管等。每個冷卻模塊都是模塊化建設，包含冷水機組、冷卻塔、換熱器、閥門系統、水泵和配電單元等，且新增冷卻模塊對原有系統影響很小。
在快速建設方面，谷歌創新的空調系統建設模式總結下來有三個特點，第一個是在機房建設初期采用租賃設備的模式盡快讓機房投入生產，在此同時建設剩余的永久性固定部分，等機房全部建成后租賃的設備退還給設備租賃公司;第二個是初期采用風冷冷水機組或者混合式冷卻塔等設備，無需冗長審批申請流程，快速讓機房投入生產，再滾動建設永久性部分;第三個是模塊化的空調子系統可以不斷地增加并投入使用，且建設過程中的增加空調子模塊不會對已經投產的部分系統有較大影響，這幾個特點大大加快了谷歌數據中心建設進程。
圖11是某個數據中心建設的早期平面圖，其中冷卻模塊148是租賃來的小容量冷卻模塊，而145則是永久性安裝的大型自購冷卻模塊。154是主供水管，而156是主回水管，截至閥144允許冷卻模塊145從整個空調系統中獨立開來。類似的，租賃的小冷卻模塊148也通過接頭150連接到整個空調系統中，并可由截至閥146從空調系統中獨立開來。通常租賃的冷卻模塊148要比自購永久性冷卻模塊145的尺寸和制冷容量都要小一些，比如方便采用標準卡車方便拖運到現場，通過軟接頭等方式快速連接到空調主管路中提供額外的冷量，也容易從主系統中拆卸和退租。這里補充說明一下冷卻模塊145還是N+1系統的+1備用冗余模塊。
數據中心建設的初期，租賃來的小冷卻模塊148投入建設并調試，同時還在機房內建設好機柜及置頂空調等，然后再和冷卻模塊148一起經過測試驗證環節，快速投入生產。由于冷卻模塊148的制冷能力有限，以及隨著IT負載不斷增加的上架量，永久性的冷卻模塊145就需要被建設，但此時截至閥144仍處于關閉狀態，不接到整個系統中。當145永久性冷卻模塊完成建設，則通過144截至閥連接到整個系統中，并經過測試驗證后投入使用。隨著負載的不斷增加，新的IT機柜以及新的冷卻模塊不斷被建設à測試驗證à投入使用。
除了空調系統外，供電系統也可以采用類似的租賃方式快速滿足早期的供電需求，比如圖11左下角的臨時租賃供電模塊152用于數據中心早期的負荷，隨著負載的不斷增加，永久型的供電基礎設施也被不斷建設并測試驗證投入使用。
四、機房內機柜建設模式
谷歌數據中心內部的建設也是模塊化按需堆疊的模式來建設。圖12是谷歌北卡數據中心的內部實景，可以看到頂部是一排排的母線排，以及模塊化熱插拔配線柜;中間是模塊化的置頂空調，以及空調頂部的線纜橋架托盤;下面則是封閉的熱通道框架，以及模塊化的三聯柜安裝泊位。具體每個變壓器覆蓋的母線排數量可根據每排機柜總功率密度有所調整，且由于每排機柜內的供電和散熱自成一體，排與排之間解耦，因此機房內不可以以機柜排為顆粒度不斷建設擴容。
圖13(a)是每排機柜的截面圖，從這個圖可以看到谷歌熱通道及機柜的布局。熱通道框架內為空調盤管及散熱風扇，熱通道框架兩側三聯柜機柜直接鎖固在空調框架上，整個構成6個IT機柜的微模塊基本單元，并以此微模塊顆粒度不斷復制。IT機柜及空調都從頂部的母線排取電，整個機房大環境為冷通道，熱通道內熱氣流自動上升，被置頂空調降溫后自然回流到機柜前面再次被服務器吸入，整個氣流路徑很短，且冷熱隔離，散熱效率非常高。
圖13(b)是數據中心內部新建設微模塊置頂空調建設示意，新建一排機柜時，可通過隔離簾子725隔離待建設部分和已投產部分，避免建設粉塵對已投產機房的影響。可通過叉車將置頂空調及支撐框架以模塊化方式在現場快速組裝，這些串聯的空調單元組成一個封閉熱通道，兩側形成兩排機柜泊位等待IT設備到場安裝。
我們知道谷歌數據中心的機柜顆粒度是三聯柜整機柜，如圖14(a)所示，頂部還有IT機柜配線盒從供電母線排取電。這些三聯柜機柜根據業務的不同配置，在服務器工廠以整機柜的形式安裝好服務器及網絡，并連接好內部供電及網絡線纜，運送到機房現場內后以圖14(b)的三聯柜方式由現場建設人員推動安裝到機柜泊位上，連接好供電和光纖線纜，即插即用，快速投產。
圖15則是谷歌數據中心內部置頂空調機房建設過程中的局部照片，機房內部一排排支撐架上是其封閉熱通道頂部的置頂空調，架空地板下走水，而機柜上方是母線排，并通過軟管連接好冷凍水，與供電系統和冷凍水系統測試驗證完畢之后等待整機柜交付。
通過前面的這些機柜排之間解耦，空調置頂微模塊、模塊化配電盒、三聯柜等標準化建設單元，工廠預制，現場快速拼裝，達到數據中心內部的快速建設目的。
五、集裝箱模式
為了進一步提高交付效率，在一些應用場合谷歌還可能采用集裝箱數據中心的模式建設。集裝箱數據中心具有多個益處。例如，可以以較大顆粒度的集裝箱基本單元來建設，實現大型數據中心的快速安裝。數據中心的較多部分可以在工廠預先建設并且到現場快速部署;具體地，集裝箱和配套的基礎設施可以被并行地建構，而不是傳統模式下的順次開展。數據中心的關鍵部分可以是可移動的，并且可以容易地從一個地點運送到另一個地點。
如圖16中標識為810的這些可移動計算單元，可以被靈活搬運并快速投入使用，這些各種功能單元的模塊可以采用集裝箱這種快速搬運的標準化方式運送到機房現場890，并被快速連接安裝起來。一部分可能會從較遠的地方輪船或者汽車運過來，也有部分如補水車以及管道等可以從當地租用，數據中心場地可以是剛平整好的荒地、或者是水泥和瀝青的平臺和停車場等，也可以是貨物倉儲等建筑。模塊化計算存儲單元820/825被運輸到現場，可移動的柴油發電機組840也被安裝在現場，通過供電線纜870連接到820/825的IT模塊上。同樣的，制冷散熱單元850(內含隔離換熱器，也可能包括制冷機組或者混合式冷卻塔等)也通過管路872和873連接到820/825的IT模塊上，用于給IT模塊來散熱。而制冷單元850則通過供水管874從供水單元830獲得水補給。經過一段時間的運行后冷卻塔的冷卻水會有沙子沉淀以及產生化合物沉積甚至軍團菌等微生物污染等，因此部分冷卻水從876水管排放到污水回收單元835槽罐車內，再運送到污水處理廠處理。
此外，快速部署數據中心還包括光纖878以及網絡進出口860，也可以是偏遠地區的無線發射接收裝置，還有監控管理單元等，這里不再一一羅列。甚至整個快速部署數據中心可以建設在污水處理廠旁邊，直接從污水處理廠處理后的清潔水來給數據中心散熱，然后排放的污水直接再次處理等。同樣的，快速部署數據中心也可以直接建設在供電或者發電站旁邊，不再設置供電模塊等。
六、總結
模塊化建設思路是大規模數據中心的一個重要特點，可以大大提升數據中心的建設進度。圖17是傳統數據中心和模塊化數據中心(非谷歌數據中心)的項目進度表比較，可以看到，通過模塊化的建設思路，大大節約了規劃設計時間，將原來工程化數據中心的串行建設模式，變成并行建設的標準化建設模式，大大節約了項目時間，并且有很好的可復制性。
本文簡單梳理了谷歌的數據中心建設模型，如圖17簡要示意，從園區建筑的單層簡單框架式大開間結構，兩翼供電、制冷模塊化快速安裝，到建筑內模塊化機房分期建設，再到機房模塊內的微模塊級復制堆疊，以及微模塊內即插即用部署的三聯柜整機柜最小顆粒度。這種逐級模塊化思路，大大簡化了規劃設計和機電建設，將傳統工程化的數據中心建設模式大部分轉變成產品化堆疊方式，大大節約了傳統模式下串行開展的時間。同時標準化模塊可復制性強，可以快速復制到新的建設項目中，避免了傳統工程化數據中心各種獨特的設計。通過這些解構可以看到google把數據中心進一步拆分和簡化，如同把大型DC變成了一個個單細胞無性繁殖的生物，不斷復制堆疊組合擴張，這比我們目前相對高等級工程化的哺乳動物繁殖模式，無疑會更有效的適應生態環境變化。當然，國外的環境、生態、政策等不同，
谷歌數據中心的這些優秀建設方法很多并不能直接適用于國內，但其模塊化理念和工業化/產品化思路非常值得國內學習。
京公網安備 11010502049343號