1. 概述

近年來隨著云計算技術的快速發(fā)展，全球數(shù)據(jù)中心開始向著巨型化的方向發(fā)展，單機柜功率密度不斷提高，5KW、7KW、10KW甚至幾十KW功率機柜已逐步成為常規(guī)配置。新一代數(shù)據(jù)中心更顯著的表現(xiàn)為：規(guī)模更大、密度更高、制冷要求更高、局部過熱成為常態(tài)等特點。數(shù)據(jù)機房的高功率密度化對空調(diào)系統(tǒng)的制冷及機房散熱提出了更高的要求，空調(diào)系統(tǒng)短時間的供冷中斷都會造成IT設備過熱宕機，傳統(tǒng)風冷空調(diào)的制冷方式已無法滿足機房制冷需求。如何保障新一代數(shù)據(jù)中心空調(diào)系統(tǒng)的能夠長期、持續(xù)、穩(wěn)定的為數(shù)據(jù)中心機房提供所需的環(huán)境溫度、濕度成為每個數(shù)據(jù)中心運維管理人員必須面臨的問題，而空調(diào)系統(tǒng)的供電方式對上述保障要求能否達到起著關鍵作用。

從國內(nèi)數(shù)據(jù)中心的發(fā)展來看，由于功率密度的提高，新一代數(shù)據(jù)中心尤其是大型數(shù)據(jù)中心基本采用制冷效率更高的水冷空調(diào)系統(tǒng)來滿足持續(xù)上升的制冷需求。本文中筆者主要結合自身工作經(jīng)驗主要針對水冷空調(diào)系統(tǒng)的供電方案設計及一些常見問題進行分析和探討。

2. 新一代數(shù)據(jù)中心與傳統(tǒng)數(shù)據(jù)中心的差異

傳統(tǒng)數(shù)據(jù)中心一般功率密度較低，多數(shù)單機柜功耗低于2KW，在空調(diào)系統(tǒng)故障停止供冷時，只要保持IT設備供電連續(xù)，通過增加風機、開窗等手段仍可保持數(shù)據(jù)中心連續(xù)不中斷運行，因此在傳統(tǒng)數(shù)據(jù)中心的運維管理中空調(diào)系統(tǒng)的重要性往往不像供電那樣受到重視。新一代數(shù)據(jù)中心對運維管理的重點進行了重新定義，空調(diào)系統(tǒng)與數(shù)據(jù)中心供電一樣決定著數(shù)據(jù)中心能否安全穩(wěn)定運行。筆者在工作中按照ASHARE標準測試方法，利用假負載對模擬了一個設計功耗5KW/機柜機房失去空調(diào)制冷后機房溫度上升情況。試驗選擇一個350平米機房內(nèi)，機房內(nèi)安裝機柜158個。測試前啟動假負載和空調(diào)，使機房溫度達到數(shù)據(jù)機房正常運行穩(wěn)定狀態(tài)。關閉機房兩側末端空調(diào)模擬空調(diào)失去供冷。空調(diào)制冷系統(tǒng)停止運行后，靠機房空間的冷量只能維持不到3分鐘。

由此可見隨著IT設備功率密度的不斷提升，數(shù)據(jù)機房允許的空調(diào)停止運行時間已成為分鐘級，在此條件下通過運維人員“現(xiàn)場維修”來排除空調(diào)系統(tǒng)故障恢復機房制冷已不再可能。空調(diào)系統(tǒng)短時間停止運行都會造成機房內(nèi)熱量的快速堆積，并引發(fā)設備高溫宕機，因此保障空調(diào)系統(tǒng)安全穩(wěn)定運行的供電系統(tǒng)的重要性也進一步凸顯。

3. 高功率密度數(shù)據(jù)中心水冷空調(diào)系統(tǒng)的供電設計注意事項

新一代數(shù)據(jù)中心典型的空調(diào)水冷系統(tǒng)的結構基本都是由下屬三大部分組成：

(1) 由冷卻塔+冷卻水泵+冷卻水供水及回水管路組成的空調(diào)冷卻水系統(tǒng);

(2) 由冷水機組+冷凍水泵+冷凍水供水、回水管路組成的空調(diào)冷凍水系統(tǒng);

(3) 由分水器+末端空調(diào)+風機盤管+集水器+冷凍水泵組成的空調(diào)制冷量分配系統(tǒng)。

同時為保證冷凍水供水和冷卻水供水系統(tǒng)均能可靠、穩(wěn)定運行，設計中將冷水機組、冷凍水泵、冷卻水泵分水器、集水器、主管路等都設計成1+1冗余備份方式。盡管空調(diào)系統(tǒng)的設計中采用了冗余等多重保障措施，但若空調(diào)系統(tǒng)供電設計中一些缺陷仍然離不開一個高可靠的供電系統(tǒng)來保證空調(diào)系統(tǒng)可以持續(xù)穩(wěn)定的為數(shù)據(jù)機房提供制冷。

3.1水冷空調(diào)系統(tǒng)供電方案的常規(guī)設計

水冷空調(diào)系統(tǒng)供電設計中冷凍水泵、冷卻水泵、末端空調(diào)等關鍵設備一般采用雙路市電+ATS開關的冗余型供電方案：

對于采用低壓油機作為后備電源的數(shù)據(jù)中心，空調(diào)系統(tǒng)一般設計為有油機保障的雙路市電輸入+ATS開關，正常運行時兩路市電首先饋送至ATS開關，并可以選擇其中一路作為主用，另一路作為備用。正常運行時由作為主用的一路向水泵、末端空調(diào)等設備供電，當主用路故障是可以自動切換至備用路工作。ATS開關的轉換可以在秒級時間內(nèi)完成，秒級的中斷完全滿足空調(diào)系統(tǒng)停止運行時間要求。

對于采用高壓油機作為后備電源的數(shù)據(jù)中心，由于目前一些地區(qū)的電力主管部門往往會對高壓油機的自動投切進行限制，人工投切會延長高壓油機供電恢復時長，因此多數(shù)空調(diào)系統(tǒng)供電設計中會為末端空調(diào)和冷凍水泵配置UPS、EPS等不間斷電源保證在高壓油機投切器件的連續(xù)供冷。

3.2水冷空調(diào)系統(tǒng)供電方案設計中應避免“單點故障”

在上述兩種常規(guī)設計中均采用ATS作為實現(xiàn)雙路供電自動切換的關鍵器件，可滿足一般但從ATS實際應用效果看ATS仍然存在一定的故障率導致該動作不動作或誤動作等。ATS承載下端所有水泵或末端空調(diào)的負荷，存在明顯單點故障，ATS故障將導致下端所有設備斷電。對于高功率密度的數(shù)據(jù)機房，ATS故障可造成末端空調(diào)停止供冷機房溫度快速上升或冷凍水泵停轉末端空調(diào)無冷量補充進而造成機房高溫宕機風險。為避免將所有雞蛋放在一個籃子中的風險，為末端空調(diào)配電系統(tǒng)增加一個ATS開關，將相互間隔的空調(diào)分屬不同配電系統(tǒng)，提高高功率密度數(shù)據(jù)機房安全性。

3.3水冷空調(diào)系統(tǒng)供電方案設計中應考慮“連續(xù)制冷”

由于高功率密度數(shù)據(jù)機房在空調(diào)失去制冷條件下機房溫度累積非常迅速，空調(diào)設備短時間停止供冷就可造成IT設備高溫宕機。因此在進行新一代數(shù)據(jù)中心的規(guī)劃設計時應充分考慮到連續(xù)制冷的必要性。一種觀點認為，在數(shù)據(jù)中心設計階段進行負荷評估時往往大于后期實際裝機的負荷，因此認為過度強調(diào)連續(xù)制冷一方面會造成空調(diào)系統(tǒng)配電設備投資的加大，另一方面還可能造成后期設備利用率低等問題。但按照IT技術的發(fā)展趨勢，每5年左右功率密度會有一次技術更新，而數(shù)據(jù)中心一般設計生命周期一般不低于30年，因此在數(shù)據(jù)中心的規(guī)劃設計階段必須考慮到后期擴容和技術更新。

數(shù)據(jù)中心連續(xù)制冷的完整解決方案不僅包括空調(diào)末端、冷凍水泵的不間斷運行，還應設置蓄冷罐儲備一定的冷凍水用于冷水機組停止工作時可以通過蓄冷罐向空調(diào)水系統(tǒng)補充冷水。為空調(diào)末端和冷凍水泵均配置UPS保持數(shù)據(jù)機房的末端空調(diào)在市電停電、高壓油機恢復供電前機房內(nèi)空氣繼續(xù)循環(huán)流動，轉將冷凍水管路中冷凍水繼續(xù)被輸送至空調(diào)末端機房提供冷量，儲存在蓄冷罐內(nèi)的冷凍水補充到管路中為冷凍水管路中繼續(xù)補充冷量以滿足連續(xù)制冷需求。

解決空調(diào)系統(tǒng)連續(xù)制冷需增加蓄冷罐、UPS、蓄電池組及管路等，這些會增加數(shù)據(jù)中心建設初期的投資，但會是數(shù)據(jù)中心后期業(yè)務發(fā)展的適應性大大增強。一旦建設初期未設計待后期再行優(yōu)化改造不僅增加帶業(yè)務改造的風險而且會造成投資進一步加大。目前部分新建數(shù)據(jù)中心出現(xiàn)的因前期未考慮連續(xù)制冷投產(chǎn)后不滿足制冷需求而不得不進行改造的案例很值得思考，上述情況的出現(xiàn)一方面因設計初期對功率密度的增長缺乏長期考慮，另一方面對高功率密度機房失去制冷情況下的溫升情況缺乏全面認識。

3.4水冷空調(diào)系統(tǒng)供電方案設計中應考慮啟動沖擊電流

對于冷凍水型空調(diào)系統(tǒng)，末端空調(diào)的主要耗電為風機。風機主要為感性負載，在電流突變時一般認為會產(chǎn)生較大的沖擊電流，尤其從靜止狀態(tài)突然啟動，這一點在傳統(tǒng)AC風機上表現(xiàn)更為突出;冷凍水泵則是典型的感性負載突加負載時沖擊電流更大，通常會達到額定負載的6、7倍。基于上述原因，通常認為如果給末端空調(diào)和水泵配置不間斷電源(UPS或EPS時)必須要考慮沖擊電流的容量。但從實際應用看，當末端空調(diào)或水泵的市電供電中斷時UPS蓄電池會立即通過逆變器承擔負荷，此時風機或電機仍在高速旋轉，其沖擊電流與從靜止狀態(tài)突然加載時完全不同的。末端空調(diào)風機一般功率較小，因此普通UPS完全可以作為備用電源，對于水泵類負荷，應負荷較大可選用抗沖擊能力更大的EPS更為合適。

3.5盡可能設置獨立的加濕器為機房加濕

在新一代數(shù)據(jù)中心冷水型空調(diào)系統(tǒng)的末端空調(diào)選型時，部分數(shù)據(jù)中心選擇帶加濕加熱功能的末端空調(diào)，但從筆者多年運維經(jīng)驗建議盡可能將機房制冷和加濕分開處理。眾所周知，空氣濕度會隨著溫度的變化而變化，尤其對于裝機過程中的數(shù)據(jù)機房由于機房安裝的機柜位置、單機柜發(fā)熱量等不同必然會造成不同位置溫度、濕度不同。制冷、加濕、加熱一體的末端空調(diào)為了達到設定的溫濕度值難以避免出現(xiàn)加熱與制冷打架、加濕與初始打架現(xiàn)象，大大增加了運行功耗。

采用專用加濕機，例如在機房安裝專用的水膜加濕機，不僅能耗大大降低而且可以有效避免上述打架現(xiàn)象，降低機房制冷整體能耗。

4. 小結

上述為筆者對日常運維管理工作的一些小的總結，若有不當之處歡迎與同道中朋友相互交流提高。數(shù)據(jù)中心的運維管理是一個復雜的體系，隨著功率密度的不斷提高將面臨越來越多的問題需要面對和解決，新一代數(shù)據(jù)中心的運維管理必將為各位運維管理人員開啟一片新的天地。