設計高效可靠的數據中心電氣系統需要從數據中心業主和電氣工程師們的視覺角度出發。
數據中心是當今世界最熱門的技術發展領域之一。隨著物聯網需求的不斷增長,迫使計算領域的最大的市場競爭者們都已經在新的多兆瓦數據中心方面花費數十億美元的投資了。業界掀起的蓬勃發展興建數據中心的熱潮主要是由于云服務的不斷增長,這可以說對服務器的容量帶來了不小的壓力(見下圖1)。此外,當其運營對企業組織的經濟效益或功能需求非常重要時,數據中心被認為是企業的關鍵任務。在某些類型的關鍵任務數據中心的操作運營中,哪怕即使僅僅幾秒鐘的停機中斷,也可能造成數百萬美元的損失。
本文中,我們試圖通過從數據中心業主和電氣工程師們的視覺角度出發,來探索關于數據中心的設計。文章中還討論了數據中心的關鍵組件,并涉及了適用于數據中心及其組件的相關規范和標準。
初步考慮
對于許多數據中心而言,其服務器都是作為其主要組件的,而這些服務器的運營顯然需要消耗電力資源。因此,任何關于建立數據中心的話題都應該從確定該數據中心的電氣需求和如何滿足這些需求開始。
容量:在決定任何其他項目之前,數據中心的所有者必須首先確定數據中心的容量(以兆瓦為單位)。在以前的規劃中,通常使用瓦/平方英尺。然而,今天更常見的則是討論每臺機架的kW,其范圍可能會從5到60kW不等。每個機架的功率集中也可以推動冷卻系統的類型和容量,而這必須在容量中進行規劃。數據中心業主還需要考慮未來的容量。
另一項重要決定是確定冗余級別。可靠性對于數據中心而言是非常重要的,而停機中斷的成本也是相當昂貴的。但是,構建更高可靠性的數據中心的成本會顯著增加。因此,數據中心所有者應確定可接受的風險程度。
輔助電源:在確定了數據中心的容量后,必須計算設施功率。設施功率包括數據中心的加熱和冷卻。近年來的焦點是使設施(非數據)功率盡可能低,以提高效率,并降低運營成本。為了解決數據中心內設施的電源效率,業界創造了“電源使用效率(PUE)”這一術語。 PUE越接近統一,非生產設施的功率就越小。
多年前,將設施和制冷負載考慮為傳送到數據中心的總功率的一半是正常的。這意味著如果一處數據中心的容量為10兆瓦,設施和冷卻負載也將為10兆瓦,導致PUE值為2。PUE等于2被認為是平均效率,但這不能令許多數據中心擁有者感到滿意。新技術的發展推動著PUE值接近統一。
可靠性和層級:為了在可靠性方面對數據中心進行分類,Uptime Institute創建了被稱為層級的標準(見上表1)。數據中心分為四個層層級。 Tier I數據中心沒有冗余配電系統,其組件沒有冗余容量。Tier II數據中心與Tier I數據中心的不同之處在于其具有冗余容量的組件。Tier III數據中心具有雙電源IT設備和多個分配路徑連接到服務器。Tier IV數據中心具有Tier III數據中心所具備的所有功能特征。此外,Tier IV數據中心是容錯的,因為它們具有多個電力分配路徑。Tier IV數據中心具有HVAC設備,該設備也是雙重供電的,并具有存儲容量。
確定選擇哪個層級取決于許多方面的因素。許多企業組織以前都有大型整合的數據中心,導致他們傾向于選擇一款Tier III或Tier IV系統。此外,許多金融業界的企業組織則選擇Tier III和Tier IV系統。其他企業組織選擇擁有多處數據中心,以便當某處數據中心出現故障時,可以在另一處處理數據需求,從而導致這類企業使用較低層級的系統。
用途:數據中心也根據其用途進行分類。這些分類包括為私有領域(例如公司或政府實體)服務的數據中心;服務于公共領域的數據中心,例如互聯網提供商;和多用戶數據中心。
功率分配:目前,關于使用什么樣的電力來為數據中心的運營供電存在著爭論。到底應該是交流還是直流?都有其各自的優點。最近,由于數據中心計算設備開始使用直流電源,直流電源已經受到越來越多的關注。具有直流配電功能消除了對服務器底板上對于變壓器和交流到直流轉換器的需求。使用直流還消除了諧波,因為沒有電源切換。此外,使用直流消除了轉換步驟,這帶來了更高的效率(每個轉換步驟都會產生一定的損耗),從而降低了成本。
然而,多年來,交流電一直是數據中心配電的主要形式(見上圖2)。交流的好處包括易于獲得的設備,更低的成本和更容易的維護(因為維護人員已經知道設備和備件容易獲得)。歷史上,大多數交流配電系統設計為208/120 V。不斷發展的技術已經幫助數據中心管理人員們能夠使用更高的交流電壓了,達到400/415 V,甚至有達到480 V的情況,因為更新的電氣設備帶來了更高的功率需求和效率。
PUE:數據中心設計和構建的另一個重要因素是PUE。PUE越接近統一越好。一處PUE值為1.5的數據中心被認為是達到了效率的中間線。高于該數字的PUE代表了低效的數據中心;而PUE值低于1.5的數據中心被認為是高效的。PUE值為1.2的數據中心被認為是非常有效的。數據中心最重要的部分是IT設備。如果無需支持(輔助)負載,則PUE將為1。但由于輔助負載是必需的,因此PUE總是大于1。輔助負載包括HVAC負載和小的電力負載,例如照明和插座。
電氣設計
在數據中心的所有者決定了上述考慮因素之后,設計專業人員的工作開始了,特別是對于電氣工程師們而言。電氣工程師必須提出一套高效的設計,具有足夠的容量以應對未來的增長,并避免不必要的虛架子。
配電元件:配電元件有很多部分。其從公用變壓器開始,在大型數據中心由數據中心的所有者擁有。在電力從市電傳輸電壓下降到配電水平之后,其通過分配開關裝置,其將電力重定向到需要的地方。通常,功率必須再次,通常經由變電站變壓器并且通過多于一個路徑被降低。通常在當今的數據中心中存在的備用電源通常在該級別上引入,帶有自動轉換開關設備。從ATS、電源到服務器(通常通過UPS系統),在那里其從交流切換到直流電源,以便供給服務器使用。下一層的分配包括用于為輔助負載、HVAC負載和常規房屋負載供電的配電板和配電盤。在這一點上也可以使用電力監測系統,其可以提供關于不同設備如何工作,以及如何使用電力的非常重要的信息。
在經歷了這么多的設備所需要的細致的工作之后。設計專業人員必須注意設備和電纜的成本,以及每一款設備的采用所造成的損失。數據中心有這么多的電氣和機械設備,意味著工程師也必須考慮與這些設計相關的許多規范和規定。
相關規范:數據中心設計專業人員所需遵循的相關規范包括:《ANSI / TIA -942-2005:數據中心電信基礎設施標準》;《NFPA 70:美國國家電氣規范》;和《ASHRAE標準90.1:除低層住宅建筑之外的建筑能源標準》。其他非常重要的規則包括《國際建筑規范》、《國際機械規范》、《國際管道規范》、《國際火災規則》、《國際燃料氣體規范》、《國際節能規范》、《NFPA 72:國家火災報警和信號規范》以及《NFPA 90A:空調和通風系統安裝標準》。
根據數據中心的規模大小和托管的數據中心的類型的不同,其他方面的規范包括《NFPA 13:自動噴水滅火系統的安裝標準》、《NFPA 30:易燃和可燃液體規范》、《NFPA 10:便攜式滅火器標準》、《NFPA 101 :生命安全規范》、《NFPA 110:緊急和備用系統標準》、《NFPA 780:閃電防雷系統系統安裝標準》、以及《NFPA 20:消防固定泵的安裝標準》。
公共供電服務:與任何其他項目一樣,設計師們需要從對于數據中心所在當地的公共供電服務開始考慮。由于可靠性的重要性,數據中心業主必須盡早與公用供電服務公司討論相關的供電服務事項。根據數據中心的規模大小,服務選項包括采用單獨的專用供電線路或現有的非常可靠的線路。
電氣設計師與數據中心業主密切合作,必須決定在數據中心有多少層設備。引入的設備越多,潛在出現的故障點越多。在關鍵任務設施中,重要的是避免單點故障。
公用供電服務很可能是中壓。根據數據中心的規模大小和地理位置,服務可以在13.8和345 kV之間。下一步是將電壓降低到可用于服務器的級別。大多數數據中心IT設備使用雙電壓,100到120 V交流和200到240 V交流。較高的電壓208或240V能夠提高效率,從而降低損耗。使服務器在415 V交流電源供電進一步提高了數據中心效率,從而獲得更好的PUE值。如果設計者決定使用更高的電壓,如415V,則輔助機械負載將為480V。這意味著必須使用自動變壓器來將415V轉換到480V的功率。
在什么時候決定將中壓轉換為低電壓(低于600 V)?此問題的答案取決于數據中心的規模大小和與服務中斷的距離。如果數據中心是園區的一部分,那么數據中心可能距離服務中斷很遠。如果是這種情況,則優選地將電功率分布在盡可能高的電壓水平,通常為13.8kV。如果服務電壓高于13.8 kV,第一次轉換將在服務入口處,將電壓從任何公共供電電壓降至13.8 kV。該功率被傳送到發生第二轉換的數據中心,將電壓降低到480V或415V。
冗余:將數據中心之間區別開來的是冗余級別。 但一切都有其代價。 添加的冗余層越多,數據中心的構造成本就越昂貴。 當然,發生數據中心中斷(或掉電)也是成本非常昂貴的。
根據設計,服務器配有兩個電源選項。此外,其還有電池備份。因此,每臺服務器都有兩個不同的正常電源。這意味著服務器將由兩個不同的變電站服務。為了完全冗余,變電站需要從兩處不同的公用供電線路供電。在最佳情況下,公用線路在配電系統中的某點處具有連接,并且每條公用線路具有足夠的容量來承載數據中心的整個負載。此場景描述了完全冗余的正常配電數據中心(參見上圖3)。
正常的電源冗余是非常重要,但僅有其本身是不夠的。正常功率通常由備用系統備份。備用系統通常由發電機組成,發電機可以是柴油、天然氣或混合動力。柴油發電機是優選類型的發電機,因為它們是可靠的機器,并且可以很容易地維護。取決于數據中心所在的建筑物的類型,發電機可以是也可以不是生命安全系統的一部分。然而,發電機通常被設置為非常快速地備份電力系統作好了準備,通常在10至30秒內。這一時間取決于服務器備份電池可以持續的時間。
最后的想法
雖然設計數據中心的配電系統看起來很簡單,但這其中存在著固有的挑戰。電氣工程師們必須:
· 與數據中心所有者密切合作,確定當前和未來的數據中心容量。
· 與數據中心所有者合作,決定哪個數據中心層適合客戶的需求。
· 與數據中心所有者密切合作,以確定冗余級別。
· 設計一款足夠簡單,易于操作的系統,但也是具備可靠性的系統。
· 消除單點故障。
· 設計一個非常有效的系統,目標是實現1.5以下的PUE。
· 遵循相關行業的法規和規章。
數據中心的設計很復雜(參見上圖4)。而數據中心的建筑成本,以及它們的操作和維護成本是非常昂貴的。與數據中心所有者持續協作是非常重要的 ——比任何其他類型的項目更為重要。設計的成功完成和實施取決于這種合作。
關于作者
本文作者Eduard Pacuku是Jacobs公司的電氣項目工程師,他大部分時間都在為大學(包括實驗室)、醫療保健機構和數據中心設計配電系統。