近年來,隨著信息技術的快速發展,IT設備需求呈爆發性增長趨勢,相應的,作為IT設備基礎設施的載體,各地數據中心開始了前所未有的大規模建設。作為數據中心關鍵基礎設施的供電系統,因其投資額度大、占地面積多、運行效率直接關系運營成本而受到越來越多的關注,對其可用性和能效性提出了越來越高的要求。
供電系統涵蓋內容廣泛,設備種類繁多,在不同的供電體制下(如典型的蘇制和美制供電系統)架構也會有所不同,但前端供電系統一般不是用戶能決定的,而為IT設備直接供電的末端供電系統實際在很大程度上影響著數據中心的建設和運營成本,因此,本文將主要論述末端IT設備的供電系統典型方案和發展趨勢。
數據中心主流IT設備供電方案
一、不間斷電源主用方案
1.1 AC UPS方案
幾十年來,為解決數據中心內IT設備的供電間斷和供電波動等電能質量問題,數據中心一直采用AC UPS+后備電池方案,由AC UPS提供符合電能質量需求的供電波形,由后備電池解決供電的短時中斷,在世界范圍內得到了廣泛而成熟的應用。但近年來,隨著數據中心建設規模的越來越大,用戶對數據中心能效和可用性的要求也越來越高,該方案固有的效率低和可用性差等缺陷越來越不為用戶接受。事實上,采用單機AC UPS供電時,在負荷率較高情況下,可以達到90%甚至更高的系統效率,但實際項目中通常會根據不同可用性的需求,大量采用N+1或2N系統配置,因冗余度較高而導致實際負載率較低,直接導致了實際系統效率僅約80%-90%,甚至更低。這意味著在一個IT負載為1000kW的數據中心中,僅AC UPS及其相應制冷損耗就耗費了約200kW,能效過低。另外,AC UPS因其自身原理特性,系統架構復雜,內部器件繁多,導致其可靠性差(尤其是輸出端的靜態開關切換時容易產生瞬斷),維護難度大,實際可用性較低。典型方案詳見下圖。
1.2 HVDC方案
為解決AC UPS存在的固有問題,從1999年起,法國電信等機構陸續開始了對高壓直流系統的研究(以下簡稱HVDC,與后述48V DC UPS同屬DC UPS),國內自2007年開始逐步嘗試,目前,高壓直流的主流方案是國內的240V、336V和國外的380V等形式。由于絕大多數的標準交流輸入設備不用任何改造就可直接采用240V直流供電,因此國內主流運營商已開始逐步大面積推廣240V HVDC系統,目前在用IT設備已超過10萬臺,應用逐漸趨于成熟,預計將來會呈指數型增長。而336V、380V等電壓等級的高壓直流需要專門定制服務器電源,對于上百種的數據中心IT設備而言定制推廣難度過大,且配套的配電系統目前還不夠成熟,因此目前實際使用極少,僅存在試點狀態。故本文下述僅討論相對成熟的240V HVDC系統,HVDC相對傳統AC UPS而言,系統結構大大簡化。詳見下圖。
HVDC系統與傳統AC UPS系統相比有諸多優勢:
可用性:拓撲簡單,電池直接掛在輸出母線上,可靠性高;插拔式設計,可在線擴容、不掉電割接,便于維護。實際可用性顯著高于傳統AC UPS系統。
建設成本:HVDC系統結構簡單,模塊冗余度相對較低,滿足同樣可用性需求的1000kW IT負載時,HVDC系統配置較AC UPS系統配置低約30%。國內HVDC市場仍處于逐步成熟期,HVDC系統的單kVA造價較AC UPS略高,但隨著將來市場的進一步成熟,滿足同樣容量和可用性需求的HVDC系統較AC UPS系統的建設投資有望降低約20%以上。
運行效率:雖然兩種方案的單機設備在一定負載率下的效率相差無幾,但因HVDC系統整流模塊采用小容量的N+1冗余,冗余度相對較低,且具備模塊休眠功能,故其整流模塊始終能運行在50%-80%的高負載率區間,使得實際運行效率可以達到92%以上。比傳統AC UPS的實際效率高出約10%-15%。
1.3 小結
HVDC系統以其在系統效率、可靠性、可維護性及建設成本等方面的突出優勢,將逐步取代傳統AC UPS。傳統AC UPS行業后來雖衍生出了模塊化UPS等技術分支,部分解決了傳統UPS負載率低、分期建設難、可擴展性差等問題,但由于多模塊的交流并機復雜性、單點并機板、異常轉旁路、電池掛接在逆變器前逆變損壞等風險都無法和HVDC技術媲美,因此只能是有短暫局部應用的過渡性技術,無法徹底改變其固有技術特性,AC UPS已經逐步邊緣化。
二、市電+不間斷電源共用方案
目前,市面上大部分的1U和2U服務器均設置雙路電源模塊,雙路電源模塊經過各自整流降壓后,并聯輸出至服務器主板等最終用電設備,在一路電源模塊故障或單路電源中斷時不會直接導致服務器斷電。近年來,隨著市電供電質量的逐步提升、服務器電源模塊適應性增強和用戶對AC UPS能效過低等方面的不滿,為兼顧建設成本、系統效率和可用性的提升,部分用戶開始嘗試采用1路市電+1路AC UPS同時供電的方案;而后,隨著HVDC的逐步成熟,部分用戶也開始嘗試采用1路市電+1路HVDC同時供電的方案。
2.1 市電+ AC UPS方案
國內最初的應用來自百度公司2009年的自建機房,采用了1路市電+1路AC UPS的嘗試,在保證了較高可用性的基礎上,建設投資縮減近半,運行效率提升5%以上,百度也在后續大規模機房建設中有部分應用。詳見下圖。
可用性:近年來國內供電質量穩步提升,電力公司可承諾的供電可用性均可達到99.9%,1路市電+1路AC UPS配置的系統可用性可達7-8個9,與傳統2N配置的AC UPS相比相差不多,可滿足T4級供電可用性要求,高于傳統N+1配置輸出假雙路至末端負載的系統可用性(5個9)。自應用以來,根據幾年的運維實際觀察,市電閃斷或波形變動對服務器斷電沒有直接影響,市電供電也未給服務器電源模塊運行帶來明顯故障率提升,實際可用性可以接受。
建設成本:與傳統2N配置AC UPS系統相比,建設投資縮減近半。與傳統N+1配置的AC UPS系統相比,投資略低。
運行效率:因市電側供電效率接近于1,故在負荷率配置適宜的場所,實際末端配電系統效率可達到95%。較2N配置的AC UPS系統高出約10%,較N+1配置的AC UPS高出約5%。
2.2 市電+ HVDC方案
隨著HVDC的逐步成熟,在1路市電+1路AC UPS的應用經驗基礎上,國內部分公司和運營商已開始逐步嘗試推廣1路市電+1路HVDC共用的供電方案,目前已經在各大基地型數據中心開始規模應用,預計將會是國內數據中心未來五年的主流發展趨勢。詳見下圖。
可用性:因HVDC系統自身可用性高于AC UPS系統,故1路市電+1路HVDC配置的系統可用性可達8-9個9,高于1路市電+1路AC UPS配置的系統。
建設成本:與1路市電+1路AC UPS配置的系統相比,目前建設投資略低,將來有望降低約20%以上。
運行效率:市電側供電效率接近于1,且HVDC本身具備模塊休眠功能,故實際末端配電系統效率可達到96%,較1路市電+1路AC UPS配置的系統高出約1%。
2.3 小結
1路市電+ 1路AC UPS共用供電的方案開啟了市電與AC UPS或HVDC等電源共同供電的先河,在更優化的技術成熟前,相對較優的1路市電+1路HVDC共用的方案將會成為國內未來5年的主流應用方案。
三、市電主用方案
前述各種主流應用方案,無論是AC UPS(或HVDC)主供還是市電+AC UPS(或HVDC)共用,因AC UPS(或HVDC)全部或部分供電的存在,末端系統效率最多可提升至約96%。是否還有進一步提高至99%甚至接近100%的理想供電效率的空間?是否能夠采用市電主供,不間斷電源備用的可能?以下幾個典型案例具備示范性意義:
3.1 集中式市電主用方案
在1路市電+1路HVDC共用實驗成功并在國內推廣后,百度公司開始了采用1路市電主供+1路HVDC備用的嘗試。雙電源服務器的2路輸入電源一路引自市電,另一路引自HVDC系統,正常時服務器由市電單路供電,HVDC系統電池處于充電狀態,市電路停電時,由備用電池系統快速切換給另外一路服務器電源供電。此系統架構與1路市電+1路HVDC共用的系統架構完全一致,只需服務器兩路電源模塊具備主從等備用設置功能即可。詳見下圖。
此方案架構與1路市電+1路HVDC共用方案一致,通常設置單獨的電池室,可根據需求選擇電池后備時間;電源部分可單獨設置,也可與機房一并設置,可根據機房排列規劃,選擇適宜的直流系統容量,集中用于單列或雙列機柜的集中式供電。此方案最大的優點是在可用性基本不受影響和服務器基本不需定制的情況下,實現了較1路市電+1路HVDC共用方案更好的建設成本和運行效率。
可用性:此方案與1路市電+1路HVDC共用方案的可用性差別在于服務器的市電路斷電時,服務器電源需從市電路主供切換至HVDC路主供,有切換過程。就目前服務器的雙路電源備用方式而言,無論熱備還是半熱備,供電切換時間均小于0.1ms,遠低于IEC規定的服務器和交換機類IT設備可承受的10ms供電瞬斷而不中斷的能力,基本不受影響。
建設成本:因HVDC處于備用狀態,只在停電時作為短時斷電支持向負載供電,故整流模塊設置僅滿足充電功率即可,較1路市電+1路HVDC共用方案節省建設投資約50%以上。
運行效率:正常時只有1路市電供電,僅蓄電池充電消耗極少電能,實際系統效率在99.5%以上,較1路市電+1路HVDC共用方案效率提升約3.5%。
3.2 半集中式市電主用方案
以Facebook公司案例為典型代表。服務器的2路輸入電源一路引自市電,一路引自DC UPS系統。考慮電源設備成熟度,DC UPS選用48V開關電源,而不是國內選用的240V HVDC系統;考慮末端供電壓降和線路耗材,選用6個機柜為一個供電單位;電源設備和電池設備與機柜同列布置。正常時服務器由市電單路供電,48V DC UPS系統電池處于充電狀態,市電路停電時,由備用電池系統快速切換給另外一路服務器電源供電。此系統架構與前述1路市電主用+1路HVDC備用的系統架構接近,只是服務器有一路電源模塊采用48V輸入,需深入定制。詳見下圖。
此方案采用鉛酸電池,鉛酸電池的功率密度低、對溫度敏感且存在漏夜等風險,因此把電池放在了IT機柜之外但靠近IT機柜安裝。將來隨著電池技術的發展,比如更高密度、放電能力及高溫特性更好的鋰電池推廣成熟,此方案可進一步優化。
此方案的可用性及運行效率與前述集中式供電方案基本接近,建設成本會因不同地區有所區別,需針對不同項目具體分析。
3.3 分散式市電主用方案
以Google公司案例為典型代表。Google公司有百萬級規模的服務器需求,對能耗和成本有更高的要求,也對行業產品定制化有更大的影響力。該公司方案采用深度定制服務器,前端完全取消AC/各類DC UPS系統,正常由單路市電直供服務器,在服務器內內置電池,將原有集中/半集中電池完全分布到每臺服務器中,市電停電時由備用電池短時供電,因電池后備時間僅約30秒,故需設置安全可靠的油機系統保證不間斷供電。此方案是完全消除AC/各類DC UPS的典型方案,以服務器自帶定制化高效整流器+內置12V電池方式替代原有AC/各類DC UPS+電池系統,在降低電源轉換環節和提升電源設備效率方面做到了極致。
該方案正常損耗僅為小容量的電池充電,系統能耗可達99.9%;同時也因電池容量小,實際后備時間僅約幾十秒,一旦油機無法及時啟動,將造成不可估量的損失,故Google也有軟件級的備份方式來共同保證IT設備的高可用性。但即使如此,在類似國內高壓自動化程度較低的地區,依然無法使用。此方案也采用鉛酸電池,同樣的隨著將來電池技術的發展,比如鋰電池的推廣成熟,此方案可進一步優化。詳見下圖。
此方案的運行效率較前述集中式/半集中式供電方案略好;因追求極致效率和低成本,服務器僅設置1路電源模塊,末端可用性相對較低,但因前端減少了AC/各類DC UPS,前端可用性相對較高,故整體可用性大致相當;此方案對服務器定制化程度要求很高,推廣難度很大;此方案的建設成本會因不同地區有所區別,需針對不同項目具體分析。
3.4 小結
以上三種方案,均是以市電主用為基本指導思想的典型方案,末端配電系統效率均接近100%。Google的方案未見得是經濟性最優的,但設備材料的消耗是最低的。可以預見的,在不遠的將來,隨著鋰電池的推廣成熟,經濟性越來越好,在高壓自動化程度較高的地區,尤其是定制化影響力較強的公司,Google的方案可能是主要發展方向之一。對于高壓自動化程度較低的地區,或定制化水平不足以支持Google方案的地區,百度公司的方案應該是簡單易推廣的首要選擇。Facebook的方案與百度方案比較相似,但供電電壓相對較低,應用上更適用于一些類似微模塊的特殊交付方式,或可較為容易的轉換為整機柜交付方式下的48V架構,如騰訊公司針對其整機柜正在努力的方向,可以以整機柜為單位,定制48V電源和電池系統,同時滿足服務器、交換機和風扇等設備用電,有待進一步探索,在此不再贅述。以下是三種方案的簡單對比:
結論及建議
本文論述的各種方案都是數據中心幾十年發展歷程中的主流方案或典型方案,整體來看,以市電主用的三種方案將會是未來主流發展趨勢,此類方案可能會隨著局部器件(如鋰電池)的成熟度提升或應用場景的不同(如微模塊/整機柜)而加以優化改良,但基本架構預計不會有太大改變。以AC UPS(或HVDC)主供的供電方式將逐步淘汰,另外,隨著市電主用方案的成熟,以1路市電+1路AC UPS/HVDC共用的供電方案預計也將在未來的5-10年逐步被取代。
未來的數據中心,具體選用何種架構方案,或者是在上述三種市電主用方案基礎上做何種調整,需從以下多個角度綜合考慮(從PUE的角度來看,以上幾種典型的市電主供方案的末端PUE貢獻均不超過0.01,已基本沒有上升空間,故已無需多做考量):
從TCO的角度來看,不同國家和地區的建設及運維成本均有所區別,需結合具體項目具體核算。
在TCO之外,還應充分考慮這些架構在不同地區、不同供電體制、不同市場成熟度、不同建設進度要求和交付方式條件下的適用程度。
作者簡介
朱永忠,現任平安科技(深圳)有限公司基礎架構首席總監、云計算發展與政策論壇用戶委員會副主任。曾在百度歷任系統部高級經理、副總監、總監、高級總監,加入百度之前供職于中國最大的商業數據中心服務提供商——世紀互聯(Nasdaq:VNET).擁有十多年數據中心建設、運營和管理經驗,是百度數據中心基礎設施的總設計師、規劃師和推動者。在百度的七年時間中,永忠組建和培養了國內互聯網領域最強大的數據中心團隊,打造出中國互聯網領域最領先的數據中心基礎設施,為百度的大數據戰略打下了良好的基礎。永忠是國內數據中心領域的頂尖技術專家,身為中國數據中心專家技術委員會副主任委員,和工信部數據中心工作組特聘專家,主持和參與了多項行業標準及白皮書的編寫和審核工作,為過去幾年中國數據中心行業的大發展做出了突出貢獻。