引言:
一個典型的數據中心供電系統,由中壓配電、變壓器、低壓配電、不間斷電源(Uninterruptible power supply,UPS)、末端配電以及發電機等設備組成,其中,UPS的主要作用,是在市電電源中斷、發電機啟動之前,確保所帶的負載持續供電,因此,UPS系統包含了儲能設備,如蓄電池或飛輪;此外,傳統UPS還具有隔離市電側浪涌、電壓驟升驟降等作用。
UPS系統是數據中心供電連續性的重要保障,UPS系統的可靠性直接影響數據中心的可靠性,同時,在絕大多數數據中心,UPS系統的損耗可占IT設備能耗的10%以上。因此,提高UPS系統的可靠性,同時降低其損耗,就成為數據中心UPS系統架構演變的主旋律。
一、傳統UPS供電系統
目前,數據中心內應用最廣的不間斷電源還是傳統UPS,它主要由整流AC-DC、逆變DC-AC和靜態旁路3部分電路組成,DC母線上掛接蓄電池,輸入AC正常時,經整流和逆變兩次轉換后為負載供電,同時為蓄電池浮充,輸入AC中斷時,蓄電池由浮充轉放電,經逆變器為負載供電,對負載來說,感受不到輸入端電源的中斷。
1.1 UPS設備的發展
從結構上看,UPS設備可以分為后備式、在線互動式、雙轉換在線式、Delta 轉換在線式等類型,其中前兩種主要用于小容量負載(≤5kVA),Delta轉換在線式技術受專利保護,因此,大型數據中心主要采用雙轉換在線式UPS設備。
傳統的雙轉換在線式UPS設備采用可控硅整流,主要的問題是諧波電流畸變率(THDi)高(10-30%),轉換效率低(85-92%)。
隨著電力電子器件的發展,呈現出IGBT取代可控硅整流的趨勢,IGBT整流的優勢是取消變壓器,因而降低了成本,同時有比較好的輸入特性,在較寬的負載范圍內,可以將THDi控制在5-10%之間,最大的好處是效率的提升,通常在87-95%之間。目前,IGBT整流型UPS的可靠性比可控硅整流型略低。
1.2 UPS系統的發展
由于UPS設備結構復雜,因此自身容易發生故障,設備冗余可以提高可用性,UPS系統便有了N、N+X、2N、”市電+U電“等架構。
N系統滿足基本需求,沒有冗余的UPS設備。它的優點是系統簡單,硬件配置成本低廉;由于UPS工作在設計滿負荷條件下,因此效率較高。其缺點是可用性低,當UPS發生故障,負載將轉換到旁路供電,無保護電源;在UPS、電池等設備維護期間,負載處于無保護電源狀態;存在多個單故障點。
N+X并聯冗余系統是指由N+X臺型號規格相同且具有并機功能的UPS設備并聯組成的系統,配置N臺UPS設備,其總容量為系統的基本容量,再配置X臺(X=1~N)UPS冗余設備,允許X臺設備故障退出檢修。相對于“N”系統,“N+X”系統在UPS配置上有了一定的冗余,系統可靠性有所提高,同時帶來了系統配置成本的增加、系統負荷率的降低以及效率降低。N+X系統在成本增加不多的前提下提高了可用性,因此,在數據中心得到了廣泛的應用,但是該系統在UPS輸出端仍然存在單故障點,實際項目中由此造成的系統宕機屢見不鮮。
為了消除單點故障,高等級數據中心通常采用2N冗余系統。該系統是指由兩套或多套UPS系統組成的冗余系統,每套UPS系統N臺UPS設備的總容量為系統的基本容量。該系統從交流輸入經UPS設備直到雙電源輸入負載,完全是彼此隔離的兩條供電線路,也就是說,在供電的整個路徑中的所有環節和設備都是冗余配置的,正常運行時,每套UPS系統僅承擔總負荷的一部分。這種多電源系統冗余的供電方式,克服單電源系統存在的單點故障瓶頸,對于少數單電源設備的情況,可通過安裝小型STS設備,保證其供電可靠性。采用2N冗余系統可用性得到明顯提高。2N冗余系統的缺點也非常明顯,設備配置多、成本高,通常情況下效率比N+X系統更低。
“市電+U電”供電架構由百度提出并在2011年其自建M1數據中心規模應用,它在N+1系統基礎上做了改進,UPS設備配置不變,將服務器等雙電源設備的其中1路改由市電直接供電,消除了單點故障,可靠性較N+1系統大大提高,同時,UPS系統的損耗降低為原先的50%。UPS系統整體效率提升至95%以上。
圖1.2.1 N+1冗余系統和“市電+U電”系統
1.3 UPS ECO模式
前文已經提到,雙轉換在線式UPS配置有靜態旁路,當正常情況下負載由旁路供電,交流輸入中斷后再切換至逆變由電池供電的運行模式,被稱為ECO模式,又稱為經濟運行模式,某些UPS廠家將此模式也稱為ESS(節能系統)、SEM(超級節電模式)、VFD(基于電壓和頻率的模式),等等。
由于正常情況下電能不再經過整流和逆變兩次轉換,因此,整機效率有所提升,不少廠家聲稱的ECO模式效率高達99%,但是實測數據與此相差較大。圖1.3.1是5種型號UPS ECO模式效率的實測數據。(注:圖中“工頻”表示可控硅整流機型,“高頻”表示IGBT整流機型)
圖1.3.1 UPS ECO模式實測效率曲線
對上述6個型號UPS在逆變工況和ECO工況實測效率做平均后的對比如圖1.3.2。可見,不同產品ECO-逆變效率提升差異較大,30%負載率下,某些工頻機效率僅提升2.69%,某些高頻機效率提升可達5.89%,整機效率高達98%。
圖1.3.2 UPS ECO和逆變模式實測效率對比曲線
UPS ECO模式帶來了效率的提升,其代價是IT負載由市電供電,UPS必須不斷監視市電狀態,并在發現問題且當該問題尚未影響負載時,迅速切換到逆變器供電。這個聽起來簡單,但實際操作起來非常復雜并且需要承擔很多風險以及潛在的負面影響。
經過對主流的3種品牌6個型號UPS實測的ECO和逆變切換時間,在大約100次切換中,UPS最大切換時間為6.6ms,滿足IEC 標準 62040-3,UPS要求服務器等設備在瞬時斷電10ms內時應能維持正常工作;以及ITIC標準,服務器等設備在瞬時斷電20ms內時能維持正常工作的要求。采用UPS ECO模式不需要改變服務器電源,可以取得類似Facebook DC 48V離線供電的節能效果。
[page]二、直流(HVDC)不間斷電源系統
盡管所有國家的市電都是交流,但是IT設備內部都采用直流供電,這就為直流供電提供了可能。事實上,通信行業采用直流48V供電已經有幾十年的歷史,電力行業也長期采用直流220V作為斷路器等設備的操作和控制電源。
傳統UPS設備存在效率低、可靠性差、靈活性和擴展性差、故障后不易修復等問題,所以業內一直在尋找替換UPS的方案。
國外早在上世紀90年代就提出高電壓直流供電的方案,如1999年日本代表INTELEC上發布《290V直流供電系統是電信和數據高效和可靠的供電系統》。真正有效的推動直流供電大規模應用,卻發生在國內,2007年,中國電信結合DC48V和DC220V系統,提出DC240V系統并應用在江蘇省自用的數據機房。隨后,中國移動提出了DC336V的系統。
圖2 是現有主流的高壓直流供電系統圖,與通信行業48V直流系統架構基本一致。與傳統雙轉換在線式UPS系統的主要區別,是取消了逆變環節,蓄電池掛接在直流母線,與整流器并聯,同時為IT設備供電。由于直流電源拓撲簡單,因此故障率較UPS有所降低,因采用模塊化設計,可在線維護。
圖2 現有典型高壓直流供電系統圖
2.1 DC240V or DC336V,電壓等級的選擇
采用高壓直流供電架構遇到的第一個問題就是電壓等級的選擇。涉及系統效率、元器件耐壓、配電設備耐壓、配電線路的金屬消耗、與蓄電池的匹配、對現有IT設備電源的匹配等因素,最重要的因素是對IT設備的兼容。
DC336V系統浮充電壓為380V,采用單體2V電池168只,適用于有PFC電路的IT設備或專為直流電源研制的IT設備,其優點是配電線路的金屬消耗量小,轉換效率高。其主要缺點是對現有IT設備的兼容性不如240V直流系統。
DC240V系統浮充電壓為270V,采用單體2V電池120只,對現有IT設備的兼容性最好,由于電壓較低,因此對人身的安全性較好,其主要缺點是配電線路的金屬消耗最大,與DC336V相比,電源轉換效率較低。
DC240系統在國內從提出到實施落地已經超過7年,保守估計,目前應有數以十萬計的IT設備運行在DC240V系統下,其可行性得到較好的實踐檢驗。其效率可以通過元件的選擇以及采用離線架構(后文詳述)彌補,將電源與負荷就近布置也可以抵消配電線路金屬的消耗。綜合考慮,建議選擇DC240V。
2.2 DC240V 系統的IT設備兼容性
IT設備電源模塊的前端一般是一個橋式整流電路,從原理上看,輸入由AC220V替換為DC240V可以工作,另外,中國電信等公司也做過一些IT設備DC240V供電兼容性的測試,有些資料宣稱兼容性達98%以上。
不論原理如何,也不論其他公司兼容性測試數據有多高,當決定選用DC240V直流供電后,必須進行系統的兼容性測試,建議的測試內容至少包括:正常電壓、反復上下電、極性反接、誤接地、欠壓保護、緩慢上電、長時間工作7項內容。
一項對34款服務器、17款交換機所做的兼容性測試中,共有8款服務器電源、1款交換機電源不支持,服務器電源不兼容率高達24%;5款IT設備不支持正負極反接,這個需要在確定接口極性時特別注意;還有1款服務器在長時間(不小于3個月)測試中出現性能不穩定,經常宕機情況。有些雙電源服務器的2個電源模塊分別由不同的廠家提供,會有1個兼容另1個不兼容的情況。不做相關的測試,很難發現其中的問題,當大規模上線后再遇到問題,恐怕為時已晚。
2.3 從在線(Online)到離線(Offline),節能到極致
與雙變換在線式UPS應用類似,高壓直流目前也以在線應用為主。所謂在線(Online),是指交流電能始終經HVDC整流后為IT設備供電,通常有6%以上的損耗;所謂離線(Offline),是指正常情況下市電直供IT設備,HVDC僅為蓄電池提供浮充,市電中斷后,轉由蓄電池供電,在這種架構下,正常情況為IT設備供電的電能不經過HVDC轉換,此部分損耗幾乎可以忽略。因此節能效果顯著。圖2.3.1 – 2.3.3顯示了傳統UPS、HVDC Online、HVDC Offline在系統效率上的差異。
三、分布式不間斷電源系統
UPS或HVDC通常采用集中式供電方案,集中式系統的優點是可以實現資源共享,降低成本,其缺點是系統故障范圍大,影響面廣。
UPS也有小型機分布式供電方案,但是多套分布式小型機系統與1套集中式大型UPS系統相比,小型機的數量多,故障點多,成本高,因此大中型數據中心不會采用分布式UPS系統。
盡管有如上問題,但是對于分布式不間斷電源系統的探索,從來沒有停止過。
3.1 DC12V 分布式系統
谷歌是最早進行服務器自研定制的互聯網公司,同時也最早放棄了集中式UPS電源方案,轉將蓄電池分布到每臺服務器電源直流12V輸出端。詳見圖3.1。
圖3.1 谷歌DC12V分布式供電架構
市電正常時,進入服務器電源轉換成DC12V為服務器主板供電,同時為蓄電池提供浮充電源,市電停電后,由DC12V母線并聯的蓄電池繼續給主板供電,直到柴油發電機啟動后回復交流供電。谷歌早期采用鉛酸電池供電,因服務器內部高溫導致鉛酸電池故障率高,后改為鋰電池方案。蓄電池的后備時間為分鐘級(通常為1-3分鐘)。
此方案的優點是大大簡化了IT設備前端供電系統,缺點是服務器電源需要深度定制。
3.2 DC48V 分布式系統
Facebook于2011年公開了其自建數據中心的資料,供電系統采用DC48V離線備用系統。詳見圖3.2。
圖3.2 Facebook DC48V分布式供電架構
Facebook為每6個9kW的機柜配置1個鉛酸蓄電池柜,輸出為DC48V,服務器電源采用AC277V和DC48V雙輸入,市電正常時作為主用,市電中斷后由蓄電池輸出DC48V為服務器供電。蓄電池后備時間為45秒。此方案的系統效率與240V HVDC Offline方案及DC12V分布式系統相當。
3.3 DC240V 分布式系統
隨著業內對數據中心能耗關注日益增強,國內近幾年出現了一種新型的分布式DC240V電源設備,同樣采用離線方案,市電正常時,直接輸出市電電源,市電停電后,由內部鋰電池提供DC240V輸出。
這種方案的優勢是IT設備無需定制,只要兼容DC240V供電即可。其缺點是電源內部存在AC220V和DC240V的切換,系統可靠性降低;鋰電池串聯數量多,單只電池故障會影響系統的可靠性。
從實際應用效果看,某互聯網公司租用的數據中心一年中發生十幾起電源故障,證明此架構還需完善。
四、總結和展望
根據以上討論,可以看出數據中心不間斷電源系統架構呈現如下兩種趨勢:
第一,從在線到離線。UPS ECO模式、DC48V電池備用、DC12V電池備用、DC240V電池備用等本質上都是將電源離線,從而降低電源成本和運行損耗。
第二,從集中到分布。隨著鋰電池等新型儲能設備的發展以及大數據時代服務器快速部署、靈活擴展的需要,不間斷電源設備正在從集中到分布。
供電架構只有更好,沒有最好,選擇與業務匹配的技術才是最佳選擇。對于追求穩定可靠的銀行客戶,UPS雙總線架構可能是穩妥的選擇;對于追求低成本、快速發展的互聯網企業,將更青睞于分布式鋰電池方案。
另一種格式的總結和展望:
過去,計算機作為一種非常嬌貴的設備,雙轉換在線式UPS消除了市電電能質量問題,但帶來了6-10%的電能損失以及其自身可靠性低的問題。
通過冗余可以提高系統可靠性,UPS發展出主備供電、N+1冗余并機、雙總線、分布冗余等方案,相應帶來的是成本和能耗的進一步增加。
為了避免UPS設備故障率高的問題,國內提出并已規模部署了直流240V電源系統,大部分IT設備可以直接兼容直流供電。
UPS ECO模式是一種離線供電方案,雖然效率較高,但是解決不了UPS設備故障率高和不便于維護的問題。
Facebook提出了48V直流電源設備離線運行的方案,降低了電源設備投資和損耗。48V系統的缺點是電壓低,電流大,配電設備容量大,配電距離近,不僅投資高,而且蓄電池需靠近服務器機柜布置。
國內蓄電池的品質差,易產生漏液、著火等故障,因此這種方案直接應用于國內風險非常大。百度提出了240V高壓直流離線應用的技術方案,蓄電池安裝在專門的電池室,有效控制了安全風險,同時電源設備成本節省70%,電源效率提高到99.5%。
DC12V分布式鋰電池方案可以簡化前端供配電系統,加快部署速度,但是國內動輒15分鐘以上的后備時間與谷歌分鐘級(據估計3分鐘左右)的后備時間相比,鋰電池的配置增加3-5倍,相應成本和安全風險都成比例增加。
隨著國內數據中心前端配電系統及發電機自動控制系統的完善以及運營水平的提升,蓄電池的后備時間一定會縮短,分布式鋰電池供電系統將在互聯網等行業數據中心迎來春天。
作者簡介:
朱永忠,現任平安科技(深圳)有限公司基礎架構首席總監、云計算發展與政策論壇用戶委員會副主任。曾在百度歷任系統部高級經理、副總監、總監、高級總監,加入百度之前供職于中國最大的商業數據中心服務提供商——世紀互聯(Nasdaq:VNET).擁有十多年數據中心建設、運營和管理經驗,是百度數據中心基礎設施的總設計師、規劃師和推動者。在百度的七年時間中,永忠組建和培養了國內互聯網領域最強大的數據中心團隊,打造出中國互聯網領域最領先的數據中心基礎設施,為百度的大數據戰略打下了良好的基礎。永忠是國內數據中心領域的頂尖技術專家,身為中國數據中心專家技術委員會副主任委員,和工信部數據中心工作組特聘專家,主持和參與了多項行業標準及白皮書的編寫和審核工作,為過去幾年中國數據中心行業的大發展做出了突出貢獻。