摘要：數據中心的供配電系統可用性、經濟性、可維護性等角度出發,探討數據中心領域的供配電系統架構方案,并以國內某大型數據中心的實際應用案例為基礎,對數據中心變配電系統、240V直流與市電直供系統結構、2NUPS系統機構、模塊化UPS電源應用、數據中心制冷系統供電系統結構等,進行詳細的探討和分析。

數據中心的供配電系統可用性、經濟性、可維護性等角度出發,探討數據中心領域的供配電系統架構方案,并以國內某大型數據中心的實際應用案例為基礎,對數據中心變配電系統、240V直流與市電直供系統結構、2NUPS系統機構、模塊化UPS電源應用、數據中心制冷系統供電系統結構等,進行詳細的探討和分析。

隨著信息技術、互聯網技術的迅速發展,信息系統的市場應用越來越廣泛,信息和數據量呈幾何級增長,數據中心的需求日益增加,對數據中心的要求不斷提高。眾多行業也都在建設各種不同用途、規模、等級的數據中心,數據中心在政府機構以及電信、銀行、證券、保險、互聯網等行業中不斷地提高自己的驅動力。數據中心作為一種物理載體在企業發展和運營中的作用越來越突出。

數據中心供配電系統作為數據中心基礎設施最重要組成部分,已成為數據中心等級判定的主要參考標準。數據中心供配電系統架構,主要包括市電引入(10kV、110kV引入等)、高壓變配電系統、后備柴油發電機系統(10kV、400V發電機組等)、市電/備用電源自動轉換系統(中壓切換、低壓切換等)、低壓配電系統(低壓配電、樓層配電單元等)、不間斷電源系統(UPS、240V、48V系統等)、列頭配電系統、機架配電系統,以及電氣照明、防雷及接地系統等。

1 數據中心供配電架構的影響因素

數據中心供配電架構及供電保障等級選擇,主要考慮以下幾個方面:

(1)數據中心供配電架構成本與安全效益平衡

數據中心從物理屬性看,是IT設備的載體;從商業屬性看,是為其服務的對象,即數據中心為各類用戶的設備或信息提供保障服務。數據中心供配電系統架構選擇,主要考慮用戶設備類型、相關設備保障等級要求、相關標準及規范要求、綠色數據中心PUE指標要求、節能減排要求、數據中心選址區域自然條件特點、建設與運營成本的平衡等多種因素。

以通信行業數據中心為例,數據中心主要有自有數據中心和商用數據中心兩大類。針對通信類,主要設備有傳輸類設備(國際傳輸干線、省際傳輸干線)、數據類設備(存儲系統、云平臺)、支撐類設備(計費系統、信息系統)等,相關設備供配電系統結構,主要考慮相關國家對通信系統建設及運維標準要求;商用數據中心主要包括政府、銀行、企業等用戶設備,其數據中心供配電系統及供電保障等級主要根據客戶具體要求、客戶設備規模、客戶設備的租賃形式等來總體確定。

(2)數據中心供配電架構規劃與決策

在數據中心供配電系統實際實施階段,需要制定合理規劃決策,評估需求與風險,進行不同方案的比較,并考慮滿足未來發展的需求。

數據中心主流的各類供配電建設標準及規范,以及用戶對供配電結構的要求,主要是對供配電保障提出要求。針對保障要求,從實施角度出發,能夠提出多種不同的供配電結構、系統架構的總體規劃與決策,對后期供配電可靠性、可用性有決定性的影響。在規劃與決策階段,一方面要針對不同系統結構的特征、投資總額、運營成本、系統優缺點等做充分的分析論證,另一方面也要考慮供配電系統邏輯關系的復雜度、對運維的要求、系統可擴展性等因素。

(3)數據中心供配電架構建設與運維

數據中心供配電架構應該同數據中心全生命周期一樣,從概念、系統規劃、決策、工程建設、交付運營等方面,是一個動態的、與時俱進的過程。現在行業有一種認識,認為供配電系統可靠性從供配電系統圖上,計算結果越優,就越能提高可靠性。實際情況并非如此,而是數據中心架構的可實施性、可維護性等對設備供電連續性保障有很大影響。

供配電系統的實現與落地,必須要經過建設與施工,因此供配電系統帶有較為明顯的工程屬性;供配電系統可靠性最終是在投入運營后,集中體現在系統運維階段。供配電架構的設計與選擇,一方面必須考慮工程施工過程的可實施性,如電纜布放距離、多層疊放、交****處理、各類油電水氣管路隔離措施、隱蔽工程處理等,另一方面還要考慮運維可行性,如電氣設備物理位置與電氣邏輯關系匹配、巡檢路由規劃、應急操作接口預留設置等。

2 數據中心供配電系統的典型結構

目前,數據中心行業有比較全面的可供參考的相關技術規范,政府、行業、企業都根據各自領域數據中心的特點,發布了相關的規范、標準或指導意見。目前,數據中心主要參考的規范有工程建設國家標準《GB50174-2008電子信息系統機房設計規范》以及美國國家標準學會(ANSI)2005年批準頒布的《TIA-942數據中心電信基礎設施標準》。

前者是我國針對于數據中心建設設計的主要標準規范,同時,為適應電子信息技術發展,新的國家標準正在編制;后者是目前國際數據中心參考的主要標準,該標準包含的條款也是隨著建筑技術和電信技術的進步在不斷修改和更新。

從相關標準的應用范圍看,國際上參考TIA-942將數據中心等級從低到高分為Tier I、Tier II、Tier III、Tier IV等四個級別,在國內參考GB50174將數據中心等級從低到高分為C、B和A三個等級,為了達到不同的等級,供電系統中采用不同的供配電方式。根據相關條文,不同標準的供配電系統結構特點如表1所示。

根據相關國際國內標準,規定了不同數據中心等級下,對應供電系統的原則及方式的演變,特定等級的系統,只規定了應滿足的最低要求。

在規劃建設階段,在不同條件下,設計時選用系統結構需考慮總體投資規模、保障要求、節能指標、運維管理目標等多種因素綜合分析,并在相應等級標準原則下進行優化設計。

目前,數據中心行業主要有以下三種典型供配電系統架構:基本型、可維護型、故障容錯型等。三種典型數據中心供配電結構的特點如下:

(1)基本型供配電結構供電結構簡單,投資少;

單故障節點多,可用性差;

供電系統器件故障、操作故障都會引起數據中心運行中斷;

預防性檢修、計劃性檢修需要系統中斷運行。

(2)可維護型供配電結構

可用性高;

系統保障N+1的冗余;

運行期間可同時進行維護;

數據中心中常用的供電結構;

正常維修、單路故障出現時,不影響系統運行。

(3)故障容錯性供配電結構可用性高;

基礎設施對空間、投資,要求較高;

多條冗余路徑,無單節點故障;

基礎設施、供電路由全程雙路由;

任何故障發生,不影響負載運行。

以上三種供電結構如圖1所示。

上述三種典型供配電結構及特點,主要是從系統市電引入到所有末端設備供電的供電邏輯特點進行總體闡述,并不表示某種結構的優劣性。如對于保障等級要求不高的IT設備,基本型供配電結構完全滿足供電保障需求,其系統結構在投資成本、電力設備空間、節能效果等方面,都明顯優于其他兩種結構;在保障等級較高的數據中心,也存在較低保障等級IT設備用電情況。

數據中心供配電系統架構的選擇,應做整體考慮,根據IT設備供電保障等級和各類不同保障等級的IT設備分布情況,針對性的選擇合適的、匹配的結構,才是數據中心供配電系統架構最終決策的關鍵點。

3 數據中心供配電案例

中國移動浙江信息通信產業園數據中心包括110kV變電站一座、柴油發電機房一座、數據中心機樓四棟。數據中心總供配電架構有以下幾個部分:110kV配電系統、10kV配電系統、10kV發電機并機供配電系統、數據中心機房電源系統等。產業園數據中心基礎設施分布示意圖如圖2所示。

該數據中心供配電架構的總體特點:深入結合基礎建筑設施布局,總體規劃,分期投入;

通過供配電結構優化,平衡成本與安全效益的關系;

根據客戶需求不同,可提供多種形式的供電保障模式。

產業園數據中心供配電系統結構示意圖如圖3所示。供配電系統架構如下:

　　(1)110kV/10kV配電系統

園區自建110kV變電站,引入兩路獨立110kV市電,站內配置兩臺110kV/10kV變壓器,每臺容量50000kVA,兩路常供。變電站兩路110kV進線采用內橋接線;變電站10kV中壓系統采用單母線分段接線,設母分;數據中心每棟配置一套獨立中壓系統,采用單母線分段接線,不設母分;每套中壓系統分別從變電站兩段10kV母線段各引入一路10kV市電電源,兩路常供。

數據中心低壓配電系統,采用變壓器(1+1)方式運行,每套低壓系統配置兩臺2000kVA的10kV/0.4kV變壓器,兩路常供。低壓饋電采用單母線分段,設母聯,“兩進線一母聯”采用電源自動轉換系統,實現自動切換控制。

(2)后備發電機系統

共配置18臺10kV/2400kW柴油發電機組作為數據中心備用電源,配置一套具有多種并機模式及控制功能的并機控制系統。發電機組并機系統采用單母線分段接線,設母分。并機系統可實現自動啟動、自動并機,實現加、減機控制、負載自動投切控制等功能。并機系統具備兩種工作模式:

模式A:母分保持閉合狀態,18臺機組并聯運行,組成一套并機系統;

模式B:母分保持斷開狀態,18臺機組分成兩組,組成兩套獨立并機系統。

(3)市電/油機電源切換系統

數據中心每棟從變電站引入兩路10kV市電電源,從發電機房引入兩路10kV備用電源,每路容量均能滿足該棟數據中心滿載負荷。數據中心每棟分別配置兩套獨立市電/油機10kV切換裝置,切換裝置設電氣及機械互鎖。

數據中心4套獨立10kV系統供配置8套獨立的市電/油機切換裝置,集中布置在數據中心1#樓和4#樓兩個配電室,縮短切換操作時間。

(4)機房電源系統

數據中心機房電源系統,根據業務類型、負載種類、客戶需求的不同,提供多種供電模式,包括48V直流、2N交流UPS、交流UPS+市電直供、240V直流+市電直供等模式。

4 數據中心240V直流+市電直供供電結構

當前,大型數據中心IT設備在積極采用新型供電方式,進一步降低供電損耗。由于高壓直流供電系統,在投資成本、系統效率、占地空間等方面,較交流UPS具有更大的優勢,已得到較大規模的推廣和應用。

目前,240V直流供電技術的可行性已經得到較好驗證,相應的理論分析和實踐經驗也在不斷研究和總結中。240V直流供電技術已經成為行業熱點,并在不斷改變傳統數據中心供電以交流UPS為主的格局。其中,基于240V直流技術衍生的“240V直流+市電直供”供電架構,進一步提升供電效率,節能效果更為顯著。

數據中心一路高壓直流、一路市電直供供電架構,主要有以下三種供電結構:

①供電結構(一):IT設備兩個供電路由,市電直供路由、240V供電路由完全獨立;

②供電結構(二):IT設備兩個供電路由,其中240V直流系統輸入屏設置雙電源切換裝置;

③供電結構(三):IT設備兩個供電路由,其中市電直供輸入屏、240V直流系統輸入屏均設置雙電源切換裝置。以上三種供電結構如圖4所示。

上述三種240V直流+市電直供供電結構,從供電等級看,均屬于可維護型供電結構。系統結構的演進及優化,通過采用增加較小投資成本,實現較大幅度提高系統可用性的目標。通過在不同位置增加雙電源切換裝置,增加部分設備雙路由供電,一方面提高系統的可維護性,另一方面提高系統中部分設備的故障應急搶修、計劃性停電維護期間的供電連續性。

上述產業園數據中心應用案例中,根據用戶對保障等級要求,采用模式(三):

①供電系統的低壓變配電部分采用集中供電方式,布置于一層配電室;數據中心各層機房分別設立設置樓層配電柜,低配與樓層配電柜間通過密集型母線連接;

②兩路市電電源均通過雙電源切換后,分別輸出至設備市電直供列頭柜,或經直流電源輸出至240V列頭柜,有效地提高了市電直供路由的可靠性;

③設備兩路供電邏輯關系對應,保證設備兩路電源取自不同市電。

5 數據中心2N UPS系統供電結構

由于UPS設備結構復雜,因此自身容易發生故障,設備冗余可以提高可用性,UPS系統便有了N、N+X等多種供電架構。較高等級數據中心供電結構中,為了消除單點故障,對重要保障負荷采用2N冗余系統。

2N冗余系統是由兩套或多套UPS系統組成的冗余系統,每套UPS系統有N臺UPS,設備的總容量為系統的基本容量。該系統從交流輸入經UPS設備直到雙電源輸入負載,完全是彼此隔離的兩條供電線路。也就是說,在供電的整個路徑中,所有環節和設備都是冗余配置的。正常運行時,每套UPS系統僅承擔總負荷的一部分。這種多電源系統冗余的供電方式,克服了單電源系統存在的單點故障瓶頸,保證其供電可靠性,采用2N冗余供電系統,其可用性得到明顯提高。

2N冗余系統供電結構的實現,根據UPS系統接線關系的不同,主要有以下三種供電結構(見圖5):

①供電結構(一):2N UPS的兩臺主機的輸入電源分別取自不同低壓母線段,其中單臺主機的主路輸入、旁路輸入取自同一條低壓母線段;系統兩面輸出柜配置手動維修旁路,手動維修旁路取電低壓母線段與對應的UPS主機相同;

②供電結構(二):2N UPS的兩臺主機輸入電源分別取自不同低壓母線段,其中單臺主機的主路輸入、旁路輸入取自同一條低壓母線段;系統兩面輸出柜配置手動維修旁路,手動維修旁路取電低壓母線段與對應的UPS主機不同;

③供電結構(三):2NUPS的兩臺主機分別配置一面雙電源切換柜;兩路市電經雙電源切換后,輸出至對應UPS主機輸入電源;其中單臺主機的主路輸入、旁路輸入取自同一面;輸出柜配置手動維修旁路,手動維修旁路輸入端取自對應的雙電源切換柜;雙電源切換柜配置手動旁路功能;

信息產業園2N UPS系統采用供電結構(三)形式:2NUPS系統中的各單機,設置對應的ATS配電柜;ATS柜均有手動旁路功能;滿足UPS系統從兩路不同市電供電要求,提升系統可用性;在低壓母線電壓異常、UPS系統計劃性檢修維護等工作狀態下,該供電結構保證設備連續供電要求;

信息產業園2N UPS系中,UPS主機系統選擇模塊化UPS。與傳統塔式機相比較,模塊化UPS優勢明顯:單機實現模塊并機冗余控制,可用性高;模塊化UPS能夠實現隨需擴容,降低建設初期投資;UPS功率模塊、靜態旁路模塊實現在線熱插拔操作,具有較高維護性;UPS功率模塊在高效運行,降低整機系統損耗。UPS模塊化是數據中心不間斷電源供電技術未來發展方向之一。

6 數據中心制冷系統設備供電結構

從制冷系統功能角度看,數據中心制冷系統主要為數據中心提供冷源,制冷系統與供電系統構成數據中心基礎設施重要的組成部分。

從制冷系統用電角度看,數據中心制冷系統相關設備,如群控系統、冷凍水主機、冷卻塔、循環泵等,是數據中心重要的用電設備,也是數據中心要重點保障的設備之一。

數據中心實際案例中,往往缺乏對數據中心制冷系統供電保障可靠性的認識,很多數據中心的制冷系統建設,其初期投資、規劃、施工一般與數據中心機房的土建建筑工程一起完成。

由于建筑工程與數據中心機房工程建設在相關規范要求、施工工藝要求等方面,存在一定差異,制冷系統初期建設往往因投資總額、施工質量、施工技術等各項條件限制,往往忽視系統設備的供電可靠性,并對后期制冷系統的可靠性、可用性、可擴展性方面產生較大影響。

以上述產業園數據中心的冷凍水制冷系統為例,其冷凍水系統結構,主要采用3臺高壓冷水機組,水系統按照“2用1備”模式運行,每套水系統配置獨立蓄冷罐,水系統中冷卻塔、水泵、電磁閥等均為低壓供電模式。

圖6所示為傳統模式下該制冷系統供電結構。從傳統制冷系統供電結構上看,制冷系統主設備盡管冗余設置,但所有獨立系統均取自一套低壓供電系統,且取自同一面配電柜;相互獨立的水系統用電設備,供電系統未獨立設置;當一套配電系統或某個配電單元出現故障,引起制冷系統整體停機;供電系統未配置UPS,兩路市電異常情況下,不能保障連續制冷要求。

圖7所示為產業園制冷系統實際采用的供電結構,該供電結構基于各套制冷系統冗余工作模式,為每套制冷系統提供完全獨立的供電模式;制冷系統重要等級低的用電設備,均采用雙電源切換裝置,雙電源切換柜配置手動旁路;制冷系統用電設備ATS主/備一致對應,避免市電切換影響系統運行;制冷系統中冷凍水循環泵、群控系統、主機控制柜等設備,采用獨立單機UPS系統供電模式,保障數據中心持續供冷。采用該形式供電結構,保證了制冷系統在水循環、供電結構、邏輯控制等方面完全獨立,進一步提高數據中心制冷系統可靠性、可用性、可維護性。

　　7 數據中心供配電技術展望

(1)實現快速部署、快速擴容是供配電技術未來發展的重要課題

如何有效縮短數據中心建設周期,是各數據中心在決策、規劃、設計階段,要考慮的主要問題之一。在數據中心網絡技術領域,模塊化設計在大型的云計算數據中心以及超級計算機中都很常見,模塊化數據中心這一趨勢進一步推向主流,數據中心設計建造中很多問題都與系統模塊化程度有關。

實現數據中心供配電系統快速部署、快速擴容,可以采取供配電系統整體設計、預制化、模塊化的建設思路,是未來數據中心基礎設施設計的基本策略和重要理念。

供配電系統模塊化建設思路,不僅設計某一特定設備內部模塊化,還應升級到供電、配電等系統層面系統級模塊化,供配電系統級的模塊化發展,及與之關系緊密的標準化,簡化供配電系統從初期規劃、系統建設、運維管理每一個環節復雜度。

實施過程中,應綜合考慮變配電、樓層配電、不間斷電源等各部分組成架構、結構特點,結合數據中心建筑設施特點,實現供配電系統一體化規劃、模塊標準化預制、整體拼裝等,從而達到有效縮短供配電系統建設周期,實現供配電系統快速部署、快速擴容的目標。

(2)對供電系統高可用性、易維護性要求,依然是數據中心供配電技術重點發展方向從數據中心供配電系統的最終功能要求來看,在數據中心運營階段,供配電系統高可用、易維護一直是數據中心供配電主要目標。

從國際、國內標準或規范來看,數據中心保障等級、可靠性與供電結構的復雜度息息相關,但系統可用性、易維護性并沒有隨著系統保障等級變高,在部分供配電結構中,反而因為系統復雜度上升影響了系統的維護性。傳統數據中心為保證可靠性提高,采用復雜的供配電結構,對于部分系統自動化控制不足的數據中心,復雜的供配電架構其實對運維人員技術能力、素質水平都有非常高的要求。

從IT負載特點看,隨著互聯網技術的發展,云計算、云存儲、虛擬化技術的應用,現代數據中心的設備負載與傳統數據中心相比,負載屬性有了質的變化,不同保障等級的設備占比,也有極大的變化,更多的設備可用通過“240V+市電直供”“UPS+市電直供”等簡單模式代替傳統的“2N UPS”等系統結構。系統結構復雜度降低、供配電結構可靠性提高,都對供配電系統的可用性、維護性等提出更高的要求。

(3)有效減少投資成本、提高空間利用率、實現供配電系統節能高效運行是數據中心供配電技術發展面臨的重要挑戰平衡成本、效益的關系,依然是數據中心行業重點要考慮主要問題,也是數據中心體現其自身商業屬性的必然要求。

一方面,從建設成本及空間利用率角度出發,未來需要通過進一步優化供配電系統結構,努力提高供配電系統智能控制水平,節省不必要冗余設備投資,減少電力系統空間占地面積,提高數據中心IT設備可裝機架能力。隨著高密度IT設備的要求,供配電系統設備本身也要通過提高技術水平、優化設備柜體結構、措施,提高其單位占地面積的供電能力。

另一方面,從運營成本及節能角度出發,當前數據中心面臨日益嚴峻的高能耗,需要通過新技術應用,如采用削峰填谷供電技術、DCIM管理技術等,進一步提高供配電系統的供電效率,減少供電系統電力損耗,降低數據中心PUE值,節約運營期間的電費成本。

8 結束語

本文闡述了數據中心供配電架構選擇綜合考慮因素,并討論了幾種典型數據中心供電架構,同時以某一數據中心供配電系統應用案例為基礎,詳細分析了幾種不同的供配電結構及優化方案的特點及優缺點,為數據中心供配電系統架構演進及探討提供參考,并對數據中心供配電技術發展做了簡單歸納。

供配電系統作為數據中心基礎設施主要組成部分,在數據中心行業發展中的地位越來越顯著,對數據中心供配電技術的研究,已經逐步從關注單個設備轉而關注系統解決方案,很多新理念、新架構、新技術、新設備在數據中心的應用層出不窮,并日趨成熟。圍繞數據中心供配電產品、技術、應用和整體解決方案探討,也逐漸向標準化、全面化、系統化的方向發展,選擇綠色的、經濟的、高效的、可用性高的供配電系統,已經成為行業共識。