引言

目前數據中心的設計已經在工程行業里形成一個專業領域，針對安裝在數據中心內的設備功率密度、可靠性、靈活性等要求，空調系統的實際方式也不盡相同，本文擬就國內某大型企業自用數據中心空調系統的實際案例做一介紹，以供同行參考。

1.工程概況

本工程數據中心大樓為一個4層的鋼筋混凝土框架結構建筑，包含主機房、支持區（空調機房、變配電所及UPS間、氣瓶間）、冷水站、辦公區、裝卸貨等功能區域。

主機房按照“整體B級，局部高可用”的標準設計，共有10個主機房模塊：1、6個模塊為常規高密度機房，功率密度可達到2kVA/m2，每個模塊的使用面積為500m2,布置在3層和4層；2、3個模塊為可兼容非常規高密度機房，功率密度可達到5kVA/m2，每個模塊的使用面積為500m2，布置在3層和4層；3、1個模塊為高可用機房，功率密度為1kVA/m2，該模塊的使用面積為300㎡，布置在1層。

數據中心標準層平面圖如圖1所示。

圖1 標準層平面圖

2.數據中心空調系統的特點

先進性：模塊化配置，滿足中遠期要求，符合IT發展趨勢；

可靠性：系統冗余備份，管路多路由，從冷源、管路、末端配置各方面考慮；

靈活性：模塊化設計，系統具備彈性及可擴充能力；

功能性：空間設計以及功能區設置符合服務流程，并能靈活組合；

可服務性：易維護、可更新，設施滿足監控和運營服務；

經濟性：節能、綠色環保、自動運行、節能控制與低PUE的綠色數據中心。

3.末端空調系統設計

3.1氣流組織

3.1.1常規高密度機房和高可用機房

機房空調氣流組織，擬采用冷、熱通道隔離的方式。機房計算機柜以面對面和背靠背成排方式布置，熱通道上方設置透明的軟隔斷，將冷熱通道完全隔離。空調系統采用架空地板下送風、天花吊頂回風的氣流組織方式，送風口設置在冷通道的架空地板上，送風口采用孔板分扣600㎜×600㎜，根據送風量設計開孔率，配套調節閥調節每個風口的送風量，回風口設置在熱通道的吊頂天花上，風口采用格柵風口600㎜×600㎜。

新風直接從室外經過過濾后引入吊頂回風空間內，與回風混合，平時用于滿足工作人員的新風需求和保證機房密封所需要的正壓需求。新風處理采用常規吊頂式新風機組。常規高密度機房氣流組織圖如圖2所示。

圖2 常規高密度機房氣流組織圖

3.1.2非常規高密度機房

本計算機樓房的3個非常規高密度機房，計算機設備平均裝機用電密度為5kVA，這和到單臺機柜的用電量約10kW。該部分空調氣流組織擬采用架空地板下送風和機柜局部冷卻相結合的方式。地板下送風擔負1/3空調負荷，機柜局部冷卻裝置負擔2/3的空調負荷。

空調系統采用架空地板下送風、天花吊頂回風的氣流組織方式，送風口設置在冷通道的架空地板上，送風口采用孔板風口600㎜×600㎜，根據送風量設計開孔率，配套調節閥調節每個風口的送風量，回風口設置在熱通道的吊頂天花上，風口采用格柵風口600㎜×600㎜。

機柜配套局部冷卻系統由制冷主機+制冷末端單元組成。制冷主機仍采用冷水作為冷源，制冷主機與制冷末端單元通過銅管鏈接，內部充注R134a環保冷媒進行熱交換，通過主機控制器控制，保證制冷末端單元蒸發器表面溫度高于露點溫度，避免蒸發器及冷媒管路表面結露產生冷凝水。非常規高密度機房氣流組織圖如圖3所示。

圖3 非常規高密度機房氣流組織圖

3.2室內空氣溫度

（1）計算機機房溫濕度的確定對于空調系統有較大的影響，也是很關鍵的設計參數。關于機房的設計溫濕度，最新的《電子信息系統機房設計規范》（GB50172-2008）規定，溫度為23±1℃，相對濕度為40%~~55%，但是機房區各個區域的溫度差異比較大，規范中并沒有明確此溫度的準確定義點。

（2）根據美國采暖、制冷與空調工程師學會（ASHRAE標準）的建議，分冷、熱通道分別定義溫度。這樣更科學和更合理的體現機房計算機設備的要求，所以本工程設計的冷通道設計溫度為18~23℃，熱通道為28~33℃。這樣設計會帶來如下的優點：1）提高了送風溫度，從而提高了換熱的效率，即提高冷水機組的能效比，明顯節約能源；2）為過渡季節和冬季使用免費冷源冷卻提供使用的可能，并增長了可使用的時間；3）為末端精密空調的干況運行提供有利條件，對空氣處理過程的節能有較大的好處。冷、熱通道溫度示意圖如圖4所示。

圖4 冷、熱通道溫度示意圖

3.3空氣處理過程

（1）根據計算機房的負荷你，計算機房主要為顯熱負荷，機房專用空調設計為干工況運行，因為計算機房無工作人員，對于偶爾因少數工作人員進入而帶入的濕符合忽略不計。末端空調設計送風溫度為18℃，回風設計溫度為28℃。

（2）新風處理過程在夏季將室外空氣處理到室內空氣的溫濕度，即23℃和50%，送入空調機房內，冬季僅作過濾處理，不做溫濕度的處理直接送入空調機房。新風量的設計采用維持機房正壓要求的送風量。

3.4設備設置

機房空調中的空調末端采用機房專用精密空調機組，分別設置于每個機房模塊兩側的空調機房內，空調系統均為模塊化配置。

常規密度的計算機房模塊（6個模塊），機房主要采用冷水型機房專用空調機組，每個計算機房模塊采用N+1冗余配置，每個模塊獨立設置1臺新風機，同時每個模塊內設置1臺自動加濕機。

非常規高密度計算機房模塊（3個模塊），機房同時設置冷水型機房專用空調機組和冷水型功能機。每個計算機房模塊采用N+1冗余配置，每個模塊獨立設置1臺新風機，同時每個模塊內設置1臺自動加濕機。

高可用性的計算機房模塊（1個模塊），機房主要采用冷水型機房專用空調機組，每個計算機房模塊采用N+2冗余配置，每個模塊獨立設置1臺新風機，同時每個模塊內設置1臺自動加濕機。

4.冷水站設計

4.1系統配置

（1）數據中心的冷源采用10kV高壓離心式冷水機組提供，設計參數供水參數7℃，共分為2個完全獨立的冷水系統。系統1主要服務6個常規密度模塊和1個高可用性模塊及其配電輔助用房；系統2主要服務3個高密度的模塊及其配電輔助用房。

（2）系統1計算冷負荷為6500kW，采用4臺700USRT的水冷離心式冷水機組（3用1備），比設計負荷富裕約10%，考慮了后期可能的容量調整和少量擴容。設置3+1的冗余配置是考慮業主對模塊化和高可靠性的設計要求，系統1的1臺主機對應2個常規高密度機房模塊，系統2的1臺主機對應1個非常規高密度機房模塊，因此該配置可同時實現模塊化、分期實施、高可靠性的需求。

（3）根據參考數據，當每臺機柜發熱量為14.4kW時，斷電后室內溫度達到40℃的時間約為1分鐘，而系統斷電后從柴油發電機的啟動到冷水機組正常運行需要較長的時間，因此系統1和系統2的水系統中各設置了一個100m?的儲水罐，儲備容量為系統滿負荷5分鐘的循環水量。儲水罐與系統采用并聯的接入方式，突發停電后，在主機無法及時啟動的情況下，替代主機提供冷源。

4.2免費冷源冷卻

（1）計算機房設備熱量是空調系統的主要負荷，在過渡季節和冬季，室外溫度已經低于機房溫度的情況下，充分利用室外的免費冷空氣是計算機房節能的關鍵。結合本項目的氣象條件，設計中采用冬季閉式冷卻塔直接供冷的節能方式。計劃在室外濕球溫度低于7℃的時候開始采用，因項目實施地點靠近北京，采用北京典型年氣候條件為設計依據。表1是北京氣象統計資料。

（2）經過統計計算，一年中可以免費冷卻的時間為12d。根據北京地區氣象資料，北京地區連續8小時以上氣溫濕球溫度小于等于7℃的小時數為3120h/a，見表2.冬季氣溫濕球溫度大于7℃時和夏季，空調設備全部運行。

（3）制冷主機和冷卻水循環泵將節省30%的運行費用。每臺機組的功率為450kW，共計6臺，停機時間按每年3120h計算，全年節約800萬kWh電。冷卻水循環泵的功率為55kW，共6臺，停機時間按每年3120h計算，全年節約10萬kWh電，節能效果非常明顯。

5.綠色數據中心的PUE指標

（1）當前，測量數據中心的能耗指標主要采用PUE——電能使用效率，PUE=數據中心總能耗/IT設備能耗，PUE是一個比率，越接近1表明能效水平越好。

（2）本項目規劃IT系統設備供電容量為13800kVA，當功率因素為0.8時，相當于IT系統熱負荷為11040kW。如果仍采用舊有的數據中心工藝設計，考慮其它損耗，系統總耗電量將達到驚人的程度。

（3）PUE指標分析：以下我們將結合本項目的實際特點，對數據中心能效比的關鍵指標——PUE進行初步分析，分析的前提條件如下：1）能源統計范圍僅包括高性能計算機房及其辦公區；2）高性能計算機房采用冷水系統冷卻；3）水冷空調系統的綜合能耗比為3.3；4）有功功率因素為0.8.

（4）當機房實際電負荷達到100%設計負荷時，系統的PUE指標為1.56，在免費冷源冷卻的運行工作狀況下，系統的PUE指標僅為1.30，遠低于行業通常水平。

6.常規高密度機房氣流CFD模擬

本項目選擇了常規高密度的計算機房做了CFD計算機氣流模擬。模擬的邊界條件根據本公司針對本次機房的空調設計參數，模擬的目的是檢驗在設計參數下，機房達到穩定狀態的情況下，機房溫度場的分布狀況及氣流分布情況，從而修正設計和檢驗設計的目的，為設計提供直觀的參考。本次模擬軟件為AIRPANK。

6.1模擬的邊界條件

本項目選擇了一個典型數據機房約1/3的面積（約168㎡）進行了模擬，機房的寬度和高度均按現有設計，機柜的布置采用冷熱通道隔離的方式。計算機設備用電裝密度為2kVA/㎡，單機柜的設備用電負荷設定為4kW/rack（按每個機柜占用機房面積2.5㎡）。空調系統的設計參數如下：

送風溫度為18℃，回風溫度為28℃；

總送風量為79200m?/h；

總回風量為79200m?/h；

機柜散熱量4kW，機柜內風扇排風量為120079200m?/h。

6.2模擬結果分析

1）地板上0.5m水平溫度分布如圖5所示。

圖5地板上0.5m水平溫度分布

從圖5可以看出，在0.5m水平面上，冷通道溫度約為18~20℃，走道的溫度為23℃，熱通道約為28~30℃。溫度場分布符合冷熱通道的設置要求，未出現溫度分布不均勻的情況。

2）地板上1.5m水平溫度分布如圖6所示。

圖6 地板上1.5m水平溫度分布

從圖6可以看出，在1.5m水平面上，冷通道溫度約為18~20℃，走道的溫度為23℃，熱通道約為28~30℃。溫度場分布符合冷熱通道的設置要求，未出現溫度分布不均勻的情況。該平面也是人員通常感官感受的區域。

3）地板上2.5m水平面溫度分布如圖7所示。

圖7地板上2.5m水平面溫度分布

從圖7可以看出，在2.5水平面上，冷通道溫度約為18~20℃，走道的溫度為23℃，熱通道約為28~30℃。溫度場分布符合冷熱通道的設置要求，該區域是機房機柜的上部區域，冷通道依然保持較好的溫度分布，走到溫度雖然有點高，但已經是非人員活動的區域。熱通道到達溫度設定的最大溫度。符合設計要求和使用要求。

冷通道垂直溫度分布如圖8所示。

圖8冷通道垂直溫度分布

冷通道垂直面上溫度在機柜的進風區域保持在18~20℃，而且完全覆蓋了機柜的水平和垂直區域，溫度分布均勻，沒有出現局部的高溫，使機柜的進風溫度得到保障。

熱通道垂直溫度分布如圖9所示。

圖9熱通道垂直溫度分布

熱通道的溫度呈現從低到高的分布，溫度分布范圍為28~33℃，最高溫度點出現在機柜上方、回風口下方區域。整體溫度分布水平方向相對均勻，垂直呈現由低到高的溫度梯度。符合機房對熱通道的設置要求。

機房橫斷面溫度分布（房間中部）如圖10所示。

圖10機房橫斷面溫度分布（房間中部）（說明：左側的通道是模擬單邊的熱通道，右側的通道是模擬單邊的冷通道。）

從圖中可以看出，冷、熱通道完全在不同的溫度控制范圍。從機房的設計氣流組織來看，實際的模擬結果基本驗證了設計思路，完全實現冷、熱通道的相對隔離。空調低溫送風第一時間進入機柜的進風區域，冷卻機柜后的熱量第一時間進入回風區域。

6.3需要改進的措施

（1）從上述不同的剖面空氣溫度分布情況，我們可以看出常規的密度的機房采用地板下送風完全可以滿足機柜對空調的要求。但是從節能的角度和工作人員的舒適度來考慮，仍需要進行調整。

（2）熱通道上方區域采用物理軟隔斷，更好地保證冷通道和人員的通道不受熱空氣干擾，同時可以提高末端空調的熱交換率。

（3）盡量采用走道單邊冷通道的布置方式，避免單邊熱通道的布置方式，從模擬結果來看，單邊熱通道的溫度比較高，如人員通道走道會不舒服。

結語

本系統在設計時參考了國內外眾多大型數據中心建設的經驗，設計方案綜合考慮了數據中心建設的自身特點，并結合CFD計算機模擬的方式論證了設計的實際可行性。此外由于數據中心的能耗非常驚人，必須采取合理的節能措施，以獲得最大的社會效益和經濟效益。