數(shù)據(jù)中心本質(zhì)上是數(shù)學(xué)和邏輯的組合，分析模塊化數(shù)據(jù)中心的顆粒度可以歸納演繹出其典型模型，本文介紹一些大型互聯(lián)網(wǎng)數(shù)據(jù)中心的典型案例，正是為了做此方面的分析。
大型互聯(lián)網(wǎng)公司數(shù)據(jù)中心建筑布局
圖一 谷歌數(shù)據(jù)中心俯視圖
圖一是谷歌數(shù)據(jù)中心的典型布局，從空中俯視看到的龐大體量和氤氳升騰的水汽，讓人立馬聯(lián)想到現(xiàn)代化的超級信息處理工廠，或在海上全力巡航的超級信息航母。谷歌的數(shù)據(jù)中心建筑結(jié)構(gòu)極其精簡，主體機(jī)房為寬而矮的單層倉儲式廠房建筑結(jié)構(gòu)，船體的中后兩艙為兩個長寬形主體機(jī)房模塊，船頭為機(jī)房配套的功能區(qū)域(如安保辦公、拆包卸貨、備品備件間等);船體左側(cè)為模塊化變配電及柴發(fā)區(qū)域，船體右側(cè)是模塊化制冷及散熱儲水區(qū)域，水電分區(qū)，左右兩翼像巡洋艦和護(hù)衛(wèi)艦等保障航空母艦的穩(wěn)定安全運(yùn)行。
圖二 谷歌數(shù)據(jù)中心平圖布局圖
圖二為其主平面布局圖。北側(cè)為水，南側(cè)為電，中間為機(jī)房模塊，約2萬平米的中間主機(jī)房區(qū)可以支持約8到10萬臺服務(wù)器，左右兩側(cè)為網(wǎng)絡(luò)間以及辦公支持區(qū)。白地板區(qū)域分為南北共四個大機(jī)房房間，每個房間可以支持約2萬到2.5萬臺服務(wù)器，每個機(jī)房模塊內(nèi)約30縱列，每列約25到30個IT機(jī)柜，每個大房間可以部署約750到900個機(jī)柜，約1萬KVA的電力，整個建筑約4萬KVA總用電。
圖三 facebook模塊化機(jī)房俯視圖
圖三是facebook在瑞典的模塊化數(shù)據(jù)中心效果圖，該建筑也是倉儲式大廠房結(jié)構(gòu)，左右兩棟數(shù)據(jù)中心大樓內(nèi)共建設(shè)了1#-4#四個大房間的數(shù)據(jù)中心模塊，兩棟建筑之間有一個專用制冷機(jī)房，在建筑的兩側(cè)也部署了室外集裝箱柴發(fā)。此外，在數(shù)據(jù)中心建筑隔壁，還設(shè)有一個用于辦公的其它功能的建筑。
圖四 facebook數(shù)據(jù)中心平面布局圖
圖四類似這個數(shù)據(jù)中心的平面布局(冷機(jī)和配電位置稍有變化，但主體框架模塊沒變)，同樣左右兩側(cè)共四個大機(jī)房模塊，A/B區(qū)南北各兩個，大房間的南北兩側(cè)為AHU模塊，同樣和冷熱通道一一對應(yīng);兩個建筑大房間之間為電力模塊，以及制冷模塊，同樣是模塊化的設(shè)計。每個AHU對應(yīng)各自的一個通道，約60個機(jī)柜，平均每個IT機(jī)柜功率約為8-10KW，因此每個AHU的制冷量約為500-600KW.中間北側(cè)為電力模塊房間，四個房間共6套IT電力模塊，以及1套備份模塊、1套冷機(jī)等負(fù)載配單模塊;中間南側(cè)為制冷泵房，共9個制冷模塊，按8用1備計算，每個房間均攤約2個制冷模塊。
每個大機(jī)房房間同樣可支持約2萬到2.5萬臺規(guī)模服務(wù)器，每個房間內(nèi)部署了約4*13*15個機(jī)柜，共約780個機(jī)柜，并支持?jǐn)U展到900個，同樣約1萬KVA的電力，整個建筑約4萬KVA總用電，共支持約8到10萬臺的服務(wù)器。
圖五 facebook數(shù)據(jù)中心布局二
圖五是facebook另外一個長條形數(shù)據(jù)中心的俯視圖，該建筑從左到右共有四個大機(jī)房模塊，每個機(jī)房模塊有獨(dú)立的4臺室外型集裝箱柴發(fā)，屋頂是其自然冷空調(diào)系統(tǒng)，緊貼數(shù)據(jù)中心建筑的上側(cè)有辦公用房。
圖六 Open datacenter的模型布局
這種長條形布局下，機(jī)房內(nèi)部如圖六Open datacenter的數(shù)據(jù)中心機(jī)房模型，每個大機(jī)房模塊共12*6*11=792個機(jī)柜，整個數(shù)據(jù)中心建筑共有12到14臺柴發(fā)，兩個蓄冷罐，支撐四個大機(jī)房模塊使用。
圖七 Switch公司的supernap 7數(shù)據(jù)中心布局
圖七是Switch公司的super nap 7數(shù)據(jù)中心俯視圖，類似的，整個數(shù)據(jù)中心建筑由四個大機(jī)房模塊構(gòu)成，每個機(jī)房模塊約10MVA的供電容量，由6臺(5+1)2000KW的柴發(fā)做掉電備份，9套1200KVA的UPS，三角形DR方式2N供電。同樣的，每個大機(jī)房模塊有44個R18的微模塊構(gòu)成，總計約792個IT機(jī)柜，平均單功率約為9KW;9個(8+1)AHU空調(diào)模塊，每個AHU模塊標(biāo)稱具有1000KW的散熱能力。
圖八 典型互聯(lián)網(wǎng)數(shù)據(jù)中心供電架構(gòu)圖
從谷歌、facebook和super nap等數(shù)據(jù)中心的典型模型上看，大型互聯(lián)網(wǎng)數(shù)據(jù)中心大多是模塊化設(shè)計，基本整個園區(qū)規(guī)劃有兩到三棟大型數(shù)據(jù)中心建筑，總共用電80到120MVA，由132KV變電站供電。每棟數(shù)據(jù)中心建筑用電量則高達(dá)40MVA，數(shù)據(jù)中心建筑內(nèi)有4個大機(jī)房模塊，每個機(jī)房模塊約2-2.5萬臺服務(wù)器，典型的單模塊機(jī)柜數(shù)量為750-1000個機(jī)柜，每棟數(shù)據(jù)中心建筑約有8-10萬臺的服務(wù)器，總機(jī)柜數(shù)量為3000到4000個機(jī)柜。大型互聯(lián)網(wǎng)數(shù)據(jù)中心基本多為倉儲式單層建筑結(jié)構(gòu)，建筑內(nèi)的典型四個大機(jī)房模塊有長條型并排布局，也有南北向田字型布局，模塊化的電力和空調(diào)模塊就近擺放。
大型互聯(lián)網(wǎng)公司數(shù)據(jù)中心的電氣
為什么大型互聯(lián)網(wǎng)數(shù)據(jù)中心都有相似的特征，這背后有何邏輯呢?
其實(shí)數(shù)據(jù)中心的一些邊界條件基本限制了數(shù)據(jù)中心的典型模型，比如一條中壓外線(美國為13.2KV，歐洲中國約為10KV)的電力容量約為10MVA-12MVA，典型的變壓器容量約為1600KVA、2000KVA、2500KVA、3000KVA、3150KVA等有限檔位，母排和斷路器容典型量約1600A、2000A、3200A、4000A、50000A、6300A等有限檔位，還有冷機(jī)的冷量、UPS的容量等都是類似的有限檔位，因此數(shù)據(jù)中心規(guī)劃設(shè)計需要兼顧到這些產(chǎn)業(yè)鏈，并滿足公路運(yùn)輸條件，以及操作人員可以忍受的連續(xù)工作最高溫度等，根據(jù)不同系統(tǒng)的合適顆粒度，選擇最佳性價比的典型模型。
通常電力是數(shù)據(jù)中心內(nèi)較為寶貴的資源，所以數(shù)據(jù)中心設(shè)計通常會把一條外線的容量盡量用滿，即一個機(jī)房模塊通常會用滿10到12MVA的外電容量，圖八是個典型的互聯(lián)網(wǎng)公司數(shù)據(jù)中心供電架構(gòu)圖，單路市電供電，高壓柴發(fā)備份。
圖九 典型數(shù)據(jù)中心2N供電高可靠設(shè)計的模型
我們可以根據(jù)一條13.2KV外線約12MVA的容量來推算該機(jī)房模塊的模型，配置了4臺2500KW左右的高壓柴發(fā)，4臺3000KVA的變壓器，額外有1臺2500KW的柴發(fā)和3000KVA的變壓器作為四個房間的冗余備份，剛好用滿電力容量，因此數(shù)據(jù)中心大機(jī)房模塊內(nèi)通常也規(guī)劃有4個小房間的模塊。
前面是針對互聯(lián)網(wǎng)數(shù)據(jù)中心內(nèi)單路市電+柴發(fā)的供電架構(gòu)，如果對于部分雙路10KV外電的高可靠2N供電架構(gòu)，實(shí)際上也是類似處理方法，將10MVA的外電，分?jǐn)偟?個IT房間，每個房間約2個2000KVA的變壓器，剩余一對2000KVA的變壓器給到制冷房間用于冷機(jī)制冷等。當(dāng)然也可以按三個IT房間來規(guī)劃，這種布局下每個房間配置2個2500KVA的變壓器，剩余一對2500KVA的變壓器給到冷機(jī)和其他動力設(shè)備。
圖十 典型數(shù)據(jù)中心2N供電高可靠設(shè)計的布局
在建筑布局上，同樣采用模塊化的布局，如圖十的典型數(shù)據(jù)中心建筑內(nèi)有左右兩個大機(jī)房模塊，每個大機(jī)房模塊內(nèi)的一對10KV外線帶有四個IT房間，每個房間由一對2000KVA的變壓器來承擔(dān)，每個房間按IT機(jī)柜功率來部署，大約有200到250個的IT機(jī)柜(由IT機(jī)柜平均功率決定)。同樣配套的模塊化電力和空調(diào)就近擺放，按需建設(shè)實(shí)現(xiàn)變成長邊投資，為未來的技術(shù)升級提供條件。
圖十一 谷歌數(shù)據(jù)中心的模塊化空調(diào)系統(tǒng)
綜上，典型的互聯(lián)網(wǎng)數(shù)據(jù)中心機(jī)房模塊內(nèi)，也同樣因?yàn)殡娏θ萘肯拗疲约霸O(shè)備顆粒度的不連續(xù)性，加上產(chǎn)業(yè)鏈生態(tài)等會有最佳模型。典型的模塊化數(shù)據(jù)中心由2個高壓模塊(或者單N的1條外線)、8到10個低壓變配電模塊(或者單N的4到5個低壓模塊)、3到4個IT房間(每個機(jī)房模塊配置2500KVA或者2000KVA的變壓器)的典型模型。每個模塊化數(shù)據(jù)中心約750到1000個IT機(jī)柜，每個IT房間約200到250個IT機(jī)柜。動力設(shè)備方面基本多為3到4臺800到1100冷噸的冷機(jī)，以及4到6臺1800KW到2500KW的柴發(fā)等。
大型互聯(lián)網(wǎng)公司數(shù)據(jù)中心空調(diào)模塊
相對而言，大型互聯(lián)網(wǎng)數(shù)據(jù)中心的制冷系統(tǒng)的標(biāo)準(zhǔn)化較差，這主要由不同地區(qū)的制冷方式差異導(dǎo)致。比如熱帶地區(qū)采用的集中式冷機(jī)制冷，和涼爽地區(qū)分散式AHU模塊制冷就會有很大的差異。但從前面分析的數(shù)據(jù)中心模型上看，大型互聯(lián)網(wǎng)數(shù)據(jù)中心的空調(diào)系統(tǒng)也呈模塊化方式在建設(shè)。如圖十一所示的谷歌數(shù)據(jù)中心，綜前所述，一棟40MVA的數(shù)據(jù)中心建筑，由四個大機(jī)房模塊構(gòu)成，每個機(jī)房模塊約10MVA的用電。整個數(shù)據(jù)中心建筑左側(cè)有15套空調(diào)系統(tǒng)，因此每個機(jī)房模塊分?jǐn)偟?套空調(diào)系統(tǒng)，剩余3套空調(diào)給四個機(jī)房模塊做冗余備份，以及其他辦公和環(huán)境負(fù)荷等，每套空調(diào)系統(tǒng)約有1000到1200冷噸。
圖十二 SuperNAP數(shù)據(jù)中心的模塊化空調(diào)系統(tǒng)
而如圖十二的Super nap數(shù)據(jù)中心則采用了模塊化AHU散熱方式，每個10MVA的大機(jī)房模塊配置了9個AHU模塊，每個AHU模塊的散熱能力達(dá)到了1000KW，8用1備，該AHU支持六種不同的冷卻方式，并在AHU內(nèi)部加裝了小飛輪UPS，保障AHU模塊供冷的持續(xù)性，也是非常經(jīng)典的模塊化空調(diào)設(shè)計實(shí)現(xiàn)。
前面簡單介紹了兩個大型互聯(lián)網(wǎng)公司模塊化空調(diào)系統(tǒng)的應(yīng)用案例。地區(qū)不同，制冷方式不同，模塊化空調(diào)系統(tǒng)呈現(xiàn)出較大的差異性，顆粒度也有較大的差異，但不管是冷機(jī)還是AHU或其它不同方式，也基本分為3到4套系統(tǒng)，每個系統(tǒng)由不同數(shù)量的更小單元末端組成(可能是模塊化AHU，也可能是小風(fēng)墻等)。
“大道至簡，悟者天成”。大型互聯(lián)網(wǎng)數(shù)據(jù)中心典型模型模塊精簡、功能分區(qū)清晰、顆粒度合理。在我們從這些先行者的實(shí)踐經(jīng)驗(yàn)中悟出真理后，剩下的就是要考慮如何去躬行。一旦做到知行合一，就沒有攀不上的高峰。
京公網(wǎng)安備 11010502049343號