數據中心的PUE(電源使用效率)測量方案可以非常簡單,在一個極端的層面,理論上只有兩步;或者其又可以相當全面,包括數十個測量點。考慮到數據中心的容量(kW)、功率、冷卻 架構、業務目標及其基礎設施系統(例如冷水機組,發電機)的共享程度,本文中,我們將為您詳細介紹如何為既定的數據中心確定適合級別的測量方法。電力使用效率是數據中心業界廣泛接受的用于測量支持數據中心IT負載的物理基礎設施系統(例如,電源和冷卻)的能量效率的度量方法。而基于多方面的原因,您企業可能希望能夠獲得關于數據中心PUE值的報告;也許您企業制定了相應的內部規章要求遵循綠色環保/節能倡議,或者您企業所屬的行業需要遵守相關的監管法規或授權(例如,美國政府部門已經頒布了行政命令,要求在政府機構的數據中心測量PUE);或者您企業可能希望將您的數據中心推廣打造為“一流的數據中心”。一般而言,業界主要有三種的方法來獲得一處數據中心的PUE值(如下表1),而對于某些特定的業務目標而言,其中一些方法可能比其他方法更為合適。
表1 獲取數據中心PUE值的一般方法一覽
而在《數據中心的電力效率測量》一文中,我們為曾大家提供了關于PUE指標的介紹,討論了其中的關鍵驅動因素是什么,并進一步探討了模型和測量對于理解數據所扮演的角色方面所起的作用。有一些公共可用的工具,如施耐德電氣公司推出的TradeOff工具、數據中心效率計算器,允許您企業在特定的設計條件,包括容量、IT負載、電源架構、冷卻架構、空氣流管理實踐等等條件下,得以能夠估計PUE值。但是對于任何計算器或估算器而言,均存在對于實際數據中心可能并不成立的基本假設。供應商和顧問提供相應的服務,以評估數據中心的效率,臨時測量器被帶到數據中心運營現場以測量數據中心的PUE值。這為數據中心效率的提高提供了良好的基準,但數據僅僅只代表一個時間點。
考慮上述這種情況。您企業需要進行數據中心現場能源審查,以測量數據中心的PUE值。鑒于沒有永久性的儀表,所以工程師們只能借助一款臨時性的儀表來監測各種電路并進行測量。從工作日早上一上班開始,他便開始測量IT負載,此時其IT負載正處于高值。當天晚些時候,這些工程師們又開始來測量變速空氣處理機,但此時的空氣處理機的負載與早上剛上班測量IT負載時的負載已經明顯不同了。例如,如果此時的負載較低,所得到的PUE值將“人為地”變低,因為可變速風扇的運行速度將會下降。此外,由于冷卻能量的吸取消耗取決于天氣狀況,而其在每天和每月都在不斷變化,故而某一天的天氣狀況測量并不足以反映年度的PUE值。在數據中心運營現場安裝永久的連續測量儀表有助于確保以同步的方式收集數據,從而避免了由于全天和整年的天氣變化而導致的不準確性。
在本文中,我們將重點為您介紹表1中的第三種方法,即:連續或“實時”的測量,并將為您企業完成以下注意事項和步驟,以便部署有效的連續PUE測量和監測系統,提供相應的指導。
1、根據PUE目標選擇合適的PUE測量水平
2、電路跟蹤以捕獲數據中心所有的IT和非IT負載
3、確定數據中心已經存在哪些測量儀表了(即嵌入式測量儀表);以及仍然還需要什么類型的測量儀表,而這些測量儀表又應該被安置在何處
4、在運營的數據中心中安裝儀表
5、在聚合數據實施監控系統
選擇恰當的PUE級別
綠色網格組織定義了四個級別的PUE報告,這四個級別的報告在精度、成本和測量復雜性方面各有不同。 0級不是連續的能量監控,因此我們將重點關注級別1、2和3。這些級別之間的主要區別是測量IT負載的儀表安置位置。
級別1——UPS輸出
級別2——PDU輸出
級別3——IT設備輸入(例如,通過使用機架PDU測量)
測量和報告您企業數據中心PUE值的業務目標很可能會在決定哪個級別是最為適合的過程中發揮作用。級別1的部署實現是最為簡單的,因為數據中心的UPS可能已經有一個嵌入式儀表用作IT負載的代理。例如,如果需要報告PUE是由任務驅動的,這個級別可能就已經足夠了。但是,如果您企業希望更深入地了解數據中心中的低效率狀況,則可能需要采用更準確的方法。
級別2的IT負載也可能依賴于嵌入式儀表,因為大多數配電單元(PDU)、遠程電源面板(RPP)和母線槽系統都包括它們。級別1和級別2精度之間的差異取決于是否有非IT負載由UPS供電。例如,如果在UPS上有空氣處理器,則使用UPS輸出輸出測量來表示IT負載將人為地增加IT負載值,并降低(改善)PUE值。如果所有UPS負載都是IT相關的,則兩者之間的差異將來自UPS和負載之間的配電設備的損耗,其相對較小。
想要報告級別3,由于負載是在IT機架級別進行測量的,因此需要聚合的測量點的數量將更多。這增加了復雜性,但也提供了最為準確的IT負載。最終,級別3的測量表示了更多的數據,有助于更好地了解數據中心PUE為什么會隨著時間的推移而趨向于更高或更低,最重要的是,其可以指導您企業可以采取怎樣的相關措施。下表2總結了綠色網格組織所定義的三個級別。
如下表2所示,綠色網格組織的PUE指標還規定了所有三個級別的公用設施輸入處的總設施能量值所需的儀表。然而,級別2和級別3建議增加儀表,例如在UPS輸入/輸出和機械輸入。
無論選擇哪個級別,如果目標是(至少部分地是)比較或對其PUE確定基準,則在企業組織確保所有數據中心保持一致是很重要的。如本文稍后所示,測量方案的復雜性最終將基于精準度,成本和簡單性進行綜合的權衡。
表2 綠色網格組織定義的PUE級別
企業收集數據的頻率應該是怎樣的?
根據上面的由綠色網格組織所定義的表格,根據級別的不同,測量的頻率也有變化。級別1要求每月實施測量。但是,請記住,月度報告不會提供與每周,每天或更短時間間隔報告相同的精準度,因為每月的天氣變化情況不會被準確捕獲,并且從白天到晚上或從工作日到周末的工作負載變化情況將不會被捕獲。級別3要求每隔15分鐘或更短的時間實施測量,這更適合于在既定的具備動態性質的數據中心的精確測量。
時間間隔從一個儀表類型到下一個儀表類型會有著顯著的變化。例如,電源質量測量器具有比嵌入式UPS測量器更高的數據收集速率。但是在測量PUE的情況下,大多數永久的測量儀表(嵌入式或獨立式)將滿足15分鐘的要求,并且建議的是最低頻率。
如果我企業的數據中心是在共享的設施中該怎么辦?
表面上,PUE似乎是一個非常簡單的報告指標,因為其計算公式是基于兩個數值:總的設施能耗和總IT負載能耗。如果您想要一個基本的PUE(級別1),并且您企業在一個專用的數據中心設施中具有一個常見的UPS輸出(測量點將在服務入口和UPS輸出處),其可以非常簡單。然而,很少會有數據中心的報告要求會這么直接,因為(1)設施是一個多用途架構的;(2)您數據中心的報告目標是獲取級別2或級別3的PUE值;(3)數據中心負載是分區的;(4)您數據中心有冗余組件;或者(5)您希望具有額外的儀表,以了解關鍵子系統的能耗情況,以便隨時間的推移優化PUE值。
共享的設施通常意味著共享的電力和冷卻基礎設施子系統,其通常是大型的上游系統,如交換機設備、發電機和冷水機組裝置。為了使用共享系統報告數據中心的PUE值,必須將來自這些共享系統的一部分能量分配給數據中心。有多種方法可以做到這一點:
· 對系統進行測量,并根據數據中心IT負載的總構建負荷的比例,將該能量的百分比應用于數據中心。
· 測量一款系統的輸入,減去系統輸出的非數據中心相關的子儀表。這種方法適用于電子面板。
· 排除來自共享子系統的能耗,并使用共享模型,包括共享系統的估計值。
用于特定數據中心的適當方法取決于數據中心架構的復雜性,但同時也取決于測量項目所被分配的成本。具備更多的儀表可以讓您得到更精確的測量結果,但這是以更高的成本費用為代價的。
電路跟蹤
電路跟蹤是確定測量數據中心PUE的最佳測量方案計劃的關鍵步驟,因為其確保了您企業是否能夠準確地識別數據中心所有的負載電路,包括IT和非IT的。大多數數據中心并沒有關于哪些電路承載了哪些負載的最新文檔記錄。
當您接近IT負載(即承載機架PDU的分支電路)時尤其如此,因為在IT空間中經常發生變化。上游的電氣架構通常是由建筑設施團隊持有的電氣單線圖的形式。故而數據中心管理人員有些問題要問自己:當發生變化時,IT團隊和基礎設施團隊是否有通暢的溝通?您的文檔記錄是否是最新的?我們是更換了任何基礎設施,還是添加了基礎設施?下圖1說明了旨在實現這一重要步驟的評估服務的工作說明。
這樣的評估可確保在開始識別您企業所需的現有和新的儀表之前,您的面板計劃是最新的,并且您已更新了包含所有當前基礎設施子系統在內的單線圖。在理想情況下,更新的單線圖說明了已經存在的測量點的安置位置,以便將新儀表的投資保持在最低限度。
除了跟蹤數據中心所有的電路之外,重要的是跟蹤和更新機械系統的文檔,因此管理人員務必要清楚數據中心建筑物內支持IT負載與其他非數據中心負載相關的排熱系統、泵、管道等。
圖1 電路跟蹤評估示例
確定儀表的位置
正如我們已經討論過的,所需的測量儀表的數量,以及相關測量方案所涉及的成本取決于一系列的因素。故而尋找成本與您企業所需的PUE值精準度之間的平衡點是至關重要的,因為沒有一個絕對正確的方法來測量數據中心的PUE值。
IT負載的測量是直接的,并且在許多情況下不需要額外的儀表,因為UPS和PDU通常具有內置(嵌入式)儀表以提供相關的數據。另一方面,測量物理基礎設施往往變得更加復雜和成本昂貴。在本文以下部分中,我們將描述數據中心常見的儀表布局場景。
測量IT負載
在《數據中心電表類型》一文中,我們討論不同類型的儀表的典型的測量成本。 IT負載的測量解決方案的成本范圍很廣,從免費的(使用嵌入式測量表)到每千瓦IT負載300美元不等。在大多數數據中心,有足夠的測量方法來實現綠色網格組織所定義的1級PUE,因為大多數UPS系統均能夠提供所需的能耗數據。
如果是由多個UPS支持IT負載,則可以將數據整合在一起,以獲得總的IT負載,或者可以在通用的輸出總線(即組合輸出上的斷路器跳閘單元)上進行測量。通過諸如DCIM軟件工具的能量管理系統來實現數據整合。
當UPS輸出僅包含IT負載(沒有冷卻系統或非數據中心負載)時,級別1是最具成本效益和最被推薦的方法。注意,如果不減去IT負載,IT負載將人為地從PDU變壓器的損耗中以及UPS到負載的電線獲得些許的增加。
對于那些尋求更高精度的數據中心,或者在UPS輸出端具有大量非IT負載的數據中心而言,他們應考慮2級或3級方法。測量機架的PDU(如下圖2所示)在安置在每個IT機架所收集的數據整合在一起時,可以最準確地獲得關于IT負載能耗的測量。請注意,由于要整合的系統的數量的增加,此方法可能會增加數據聚合的復雜性。這可能會增加計算不正確的風險,因為一些測量點不報告或不包括在計算中。因此,此方法僅適用于具有成熟變更管理流程的數據中心,以確保在IT機架添加或更改時,機架PDU數據被正確計入。如果使用母線通道配電而不是機架PDU,則可以采用相同的方法,但可以借助承載每臺機架的分接單元上安裝的測量儀表。
圖2 機架PDU的測量示例
在機架級測量的另一個好處是,您可以更準確地識別上游配電中的“浪費”或損耗。如果上游PDU損失大于其應有的,則可以將其與其他數據中心或建模數據相比,這可以推動減少能耗的減少(例如通過合并負載和去除一些輕微加載的PDU)。
測量物理基礎設施
對于特制的獨立數據中心設施,測量總設施的功率是直接的。在這種情況下,服務入口處的儀表足以獲得設備總能量所需的數據信息。但是,對于大多數數據中心而言,這是不夠的,因為它們:
· 要么需要更多的數據(在子系統層面)以便采取相關的措施和改進
· 要么是在一個與共享基礎設施系統混合使用的設施,如冷卻機組和發電機。
對于“企業數據中心應該在何處安置儀表來測量總的能耗”的問題并沒有一個絕對準確的答案,這是因為其非常依賴于數據中心建筑物內的電氣和機械結構。但是采取有效的策略可以使獲得所需測量結果的所需的儀表數量最小化。在混合使用的設施中,您不能只獲取總的數據中心的主開關設備的輸入值,因此有必要單獨測量數據中心的負載。
考慮下圖3中的面板。在左邊的面板中,大多數電負載是數據中心相關的,而在右邊的面板中,大多數電負載則不是。在第一種情況下,其使得感光儀作為面板的輸入以及兩個非數據中心相關的斷路器,因此它們可以被減去。在第二種情況下,僅測量承載數據中心設備的四個獨立斷路器是有意義的,并將它們整合在一起。取決于“異常”狀況,即非數據中心負載,有時測量IT負載和聚合更加成本有效,而有時測量非IT負載并將其減去更為成本有效。
圖3 一行代表顯示儀表安置的示例
在確定要測量哪些面板并將其聚合在一起時,應小心謹慎,以避免重復計算。換句話說,如果一個面板承載了另一個,您肯定不想將它們匯總在一起,而是,您需要減去它們以獲得準確的損耗。這回到電路跟蹤的重要性,以便完全理解功率流。同樣重要的是,有一些措施,使得有些企業不能簡單地添加一個負載到面板,會使得一些數據中心的負載沒有首先獲得數據中心團隊的檢查。如果沒有良好的文檔變更管理,一旦面板中的負載發生第一次更改,這種節省資金的方法將無法準確反映PUE值。而這是我們測量主斷路器的任何混合使用面板的關鍵。
當企業的測量預算緊張時,數據中心架構中的一些電氣組件是很好的能源評估的候選。發電機是很好的候選,因為它們通常是一個共享的資源,他們并不是一個大的PUE值的推動因素。同樣,對于測量和建模應進行評估權衡。
除了IT負載,冷卻系統是數據中心最大的能源消費者。其包括了以下系統:
· 冷卻器
· 冷卻塔
· 冷凍水和冷凝水泵
· 冷凝器
· CRAC和CRAH設備
機械系統也會降低性能,導致其效率低下。因此,測量這些系統通常是一項智能投資,以便在出現負面性能趨勢時采取相應的行動措施。當這些系統專用于數據中心時,這些設備的輸入斷路器處的電表就足夠了。但不幸的是,測量共享冷卻系統的能量并不那么直接。有幾份出版物曾討論過間接測量共享冷卻系統能量的選項。在制定數據中心測量計劃時,這些是相當有用的資源。建議范圍包括使用最小儀表和估算共享系統的能量消耗情況,使用典型的性能表,使用溫度和流量儀表作為“熱測量”手段來分配數據中心使用的系統。后者將提供更多可操作的數據,但也需要更多的實施成本。故而企業數據中心必須根據預算和業務預期確定適當的測量計劃。
在預算允許的情況下,我們的建議是對制冷機進行熱測量。下圖4展示出了具有共享的多用途數據中心建筑的中央冷卻器的建筑的簡化概念管道圖。為了分配僅由數據中心使用的電能,應進行以下操作:
· 在主回路上安置兩個溫度傳感器(在供應和返回時);和一個流量計來測量主回路中的水流量。計算冷卻器的熱能排放率(kW)。
· 將兩個溫度傳感器安置在數據中心回路(供應和回流)和一個流量計上,以測量數據中心回路中的水流量。計算數據中心的熱能排放率(kW)。
· 將電表(如果尚未嵌入)安置在冷卻器上,以測量電能消耗的速率(即kW)。
· 將熱排除率(數據中心/冷卻機組)的比率乘以冷卻器電表的值。
圖4 具備混合建筑負載的冷卻機組的簡化圖,顯示了流量和溫度傳感器的安置。
溫度和流量設備的安裝為數據中心運營商們提供了額外的有價值的信息。該數據可用于優化泵和冷卻器性能,恢復到冷凍水系統的原始ΔT,并準確分配冷凍水用量。
一個較低的成本選項,適合當非數據中心負載相當靜態,其使用的是IT負載(kW)與總負載的比率,并由冷水機電能乘以該比例。
IT空間內的溫度傳感器雖然不是測量PUE所必需的,但是它們是一個重要的最佳實踐方案,因為它們可以幫助識別熱點,并識別過度冷卻的位置,從而可以采取相關的措施以降低總能耗(即通過關閉多余的CRAH,而不超過溫度閾值)。
安裝儀表
一旦確定了額外的測量位置(除了現有的嵌入式測量儀表),下一步便是的選擇儀表、傳感器,和實施安裝計劃了。
PUE指南并不指定具體的儀表或傳感器類型,因此決策的制定應該
基于數據中心是新建的還是現有的(正在操作運營中的)。通常期望選擇能夠避免或減少停機時間的傳感器,因此一些傳感器比現有數據中心的其他傳感器更為合適。例如下圖5中的分裂芯片傳感器,不如實心芯片傳感器那樣精確,但是卻更適合于安裝正在操作運營中的數據中心中,因為它們被夾緊在帶電導體周圍,而不必通過導電體——核心傳感器。
圖5 分裂式電流傳感器(也稱為電流互感器)示例
對于冷卻系統上的溫度傳感器和流量計的安裝,適用相同的邏輯。在實時數據中心中安裝這些設備有兩種方法。
熱水龍頭管道(Hot-tapping)——在完全運行的管道系統上安裝儀表(只有微不足道的水損失),從而不存在停機中斷的安全方法。 “這種方法比在建的新管道系統上的安裝更昂貴,但是在現有管道上的安裝能夠節省關閉、排放、再填充、壓力測試和處理水的時間,非常具有成本效益。
超聲波儀表——一種在管道外部纏繞的儀表,避免任何切割或鉆孔,并使用超聲波信號來確定流速。從該速度和管道尺寸大小計算體積流量。 “為了準確地讀取,流量儀器必須放置在長度足夠長的直管上。”超聲波儀表比熱水龍頭管道成本昂貴得多,因此不常使用。
一些測量儀器顯示本地數據,而其他測量儀器僅將數據發送到聚合器。這是企業數據中心在選擇特定儀表時所需考慮的另一個因素。是否需要在儀表位置本地進行數據值的檢查?這又是一個成本權衡的問題。
電氣儀表和熱儀表的實際安裝工作一般第三方承包商完成。他們將確保工作許可證的獲得和工作的安全完成,并不會造成數據中心運營的中斷。
監控系統
DCIM軟件工具,如電力監控系統(EPMS)是PUE測量難題的關鍵部分,因為其是監控系統,具有聚合數據,呈現數據和提供可以采取行動的有用信息的作用。測量儀表必須同步,并確定數據報告的頻率。聚合方法應該精心規劃和記錄,因為顯示準確的PUE取決于儀表的正確加,減等,這樣才能夠反映IT負載的總量和數據中心設施的總量。
有效失望能量(PUE)監測系統顯示三大關鍵數據——PUE、負載百分比和能量損耗(如下圖6所示)。
圖6 跟蹤PUE的DCIM能量管理儀表板示例
PUE
時間點PUE和歷史平均值(季度,年度)都很重要。可能有相應的報告要求,使這些歷史數據很重要。因為天氣狀況(如季節變化)可以對PUE值有很大的影響。時間點并不能說明數據中心性能的全部情況。
數據中心的負載百分比
IT負載對PUE有最大的影響。重要的是要知道糟糕的PUE值是否由于低效的功率和冷卻 設計/操作,或者因為數據中心負載較輕而造成的。
輕負載的最佳實踐數據中心可能具有較高的(差的)PUE值,這僅僅是因為其當前的輕負載,并且這樣的數據中心將是被合并到其他數據中心的良好候選,而不是由于其PUE糟糕而被關閉。
關鍵子系統的能耗分解明細
為了推動PUE的改進,您需要知道您數據中心最大的能源消費者。您還可以將實際的子系統能耗與模型消耗進行比較,以確定可能的欠佳性能。
DCIM軟件中基礎架構組件的命名約定應該仔細考慮。標簽對于輕松解釋您在主聚合器上看到的內容是至關重要的。 “PDU的A側”,“PDU的B側”或“冷凍水供給泵”是清楚的名稱的示例。另一方面,“面板1”,“面板2”對于那些位于電氣單線中的子系統的位置將是不明確的。顏色編碼和字母數字編碼的組合有助于輕松找到正確的系統,并將其與軟件上的數據相關聯。
保持PUE監控系統的完整性是至關重要的。這需要數據中心運營團隊的嚴格的操作紀律和成熟度。例如,當對數據中心和/或數據中心建筑發生改變時,電氣單線和電路調度必須保持更新。
結論
數據中心業主將繼續面臨不斷降低數據中心的能源消耗的壓力。雖然整個數據中心行業的平均PUE值正在下降,但仍有許多數據中心并沒有采取連續測量的相關措施。正確的測量和監控將使您能夠計算實時操作控制,現場基準測試和現場合規性(內部或外部)的PUE。因為,想要通過系統的方式來改進您企業無法測量的東西是很難的。
通常,可以使用來自UPS、PDU或機架PDU的現有儀表來測量IT負載。測量機架PDU能夠提供最準確的IT負載,因為其消除了UPS和負載之間的損耗。
如果數據中心是建筑物的唯一功能,那么測量總的數據中心負載可以是簡單的;或者其可以涉及當數據中心在與共享系統的共享設施中時的聚合,計算和估計。當預算允許時,應測量冷卻系統,因為這些系統具有PUE改進的最大的機會。對單個子系統的較低可見性意味著較少的持續改進或測量變更的有效性的能力較差。
關于作者
本文作者Wendy Torell是施耐德電氣公司數據中心科學中心的高級研究分析師。在這一崗位上,她負載研究數據中心設計和操作的最佳實踐方案,發布白皮書和相關的文章,并開發TradeOff工具,幫助客戶優化數據中心環境的可用性,效率和成本。她還與客戶就可用性的科學方法和設計實踐進行協商,以幫助他們實現其數據中心性能目標。她在紐約斯克內克塔迪的聯合學院獲得機械工程學士學位,并在羅得島大學獲得工商管理碩士學位。Wendy是一名ASQ認證注冊的可靠性工程師。