據估計,目前數據中心總耗費的電力占全球電力消費總量的1.5%至2%,相當于400TWh (萬億瓦(特)時, 1TWh=1000GWh=1e6 MWh=1e9 kWh(1e9 表示10的9次方);,或接近于一年法國使用的電力總量(Corcoran&Andrae,2013)(2016年的Shehabi,o.a)。
想象一下,如果有辦法重新部署數據中心的服務器所用電力,是不是耗電量會有所改善。 本篇文章探討了如何通過熱回收大規模數據中心冷卻提高數據中心的成本效率以及可持續性提高到一個層級。
數據中心冷卻系統標準
隨著CPU性能的提高、電源分配、提高設備的耐受性、新的制冷技術,成本意識和環境問題有關,自2004年第一次介紹“數據處理環境熱指南”以來,數據中心冷卻的指導方針和方法已經有了顯著的發展。
ASHRAE指南,現在已經到了第四版,并在2008年與相應的網絡設備建設系統需求同步,是數據中心行業真正意義上熱管理的的標準。該指南的發展已經嘗試在不影響可靠性的情況下,支持對IT設備進行更節能的冷卻。
圖1
斯德哥爾摩的環境條件
在斯德哥爾摩,關于制冷解決方案的選擇,很大程度上依賴于數據中心所在的環境條件。
瑞典的天氣在全國和季節之間變化很大。在首都斯德哥爾摩斯德哥爾摩北部的干球溫度已經低于15°C自2001年1月1日以來,82.26%的小時和27°C以下,(ASHRAE這樣推薦最大99.63%,低于32°C(ASHRAE這樣A1最大),那個時期的99.998%。露點溫度低于15攝氏度(ASHRAE推薦的最大值),為96.98%,低于17攝氏度(ASHRAE A1最大),為99.19%(斯德哥爾摩2016)。
斯德哥爾摩冷卻方案
斯德哥爾摩為數據中心提供了大量潛在的冷卻解決方案。在這一節中,我們概述了最適合城市天氣狀況的解決方案。
氣流系統
考慮到瑞典的環境條件,直接和間接蒸發冷卻系統是兩個最具吸引力的替代方案。然而,到目前為止,這種建筑實踐的經驗在瑞典。
Facebook的最佳實例是Facebook在瑞典北部的Lule的建設的數據中心。 在斯德哥爾摩沒有使用直接蒸發冷卻系統方案的,究其原因可能在于城市環境中對于過濾器維護的高成本,不過該系統的主要優點是PUE低。
然而,這個解決方案中最重要的問題是,大量的寶貴能量被浪費在數據服務器上的多余熱量被直接丟棄到環境空氣中。 然而,直接蒸發冷卻系統可以被設計為通過引入水到空氣交換器來來重新利用熱量。 雖然在概念上可行,除了Yandex在芬蘭Mntsl的工廠外,北歐地區的設備依然很少。 盡管斯德哥爾摩地區有良好的環境條件,仍然需要一個全面的后備冷卻系統來管理少數幾個小時的高露點溫度。
間接蒸發冷卻系統是指把直接蒸發冷卻過程中降溫后的空氣和水通過非接觸式換熱器冷卻待處理的空氣,那么就可以得到溫度降低而含濕量不變的送風空氣,(此過程為等濕冷卻過程)。該方法的效率將取決于室外空氣的濕球溫度,并且需要機械的向上冷卻來控制在相對濕度過高的情況下,在蒸發過程中工作的相對濕度過高。若把直接蒸發冷卻中用的空氣稱二次空氣,待處理的空氣稱一次空氣,則可得到用于間接蒸發冷卻的裝置。
這個系統,會有較低的PUE,雖然通常比一個直接蒸發冷卻系統PUE要高一些。在直接蒸發冷卻系統中,多余的熱量被丟棄在環境中。然而,與直接蒸發冷卻系統不同的是,很難構想出一種高效的設計,在這種設計中,熱量回收可以與間接蒸發冷卻系統相結合。
冷凍水系統
最常用的系統依賴冷凍水冷卻系統,通常采用某種機械冷卻,通常與一年中大部分時間的自然空氣冷卻系統模式相結合。系統基礎設施與蒸發冷卻系統不同,因為能量在數據中心的液體中攜帶,并且通過數據室中的液體 - 空氣熱交換進行冷卻。
冷凍水系統通常比基于空氣的系統有更高的PUE。另一方面,冷水系統更傾向于提供更大的設計靈活性,而與間接蒸發冷卻系統相比,這套方案需要更少的空間。
冷卻水系統的一個特殊版本是區域冷卻。在一個地區的冷卻解決方案中,使用相同的數據中心基礎設施,但是冷卻是作為地區冷卻供應商提供的服務提供的。冷卻服務的供應商可能采用不同的方法來生產冷卻水,包括海水冷卻、冷卻機和熱泵。雖然在斯德哥爾摩并不存在,但其他地區的地區冷卻供應商正在考慮以吸收為基礎的冷卻。
冷凍水系統的一個關鍵優點是有機會進行有效的熱回收。在傳統的冷凍水系統中,在冷卻塔中會除去多余的熱量。
然而,在一個冷卻的水系統中,通過熱泵來實現數據中心的冷卻,可以提高過熱的溫度,這樣,熱泵就可以通過與地區供熱網絡的連接,為住宅和辦公需要供暖。在地區冷卻解決方案中,數據中心的冷卻是作為一種服務提供的,熱恢復是系統的固有特性,在這個系統中,返回管道將數據中心的余熱從數據中心輸送到一個配有熱泵的生產設備,并連接到地區供熱網絡。
隨著高性能計算的出現,液體冷卻開始出現。一種液體冷卻的解決方案不需要液體到空氣的熱交換,而且對于熱回收的效率更高,因為它能更好的吸收熱量,更高的溫度,更不需要機械的幫助來達到為住宅供暖而工作的溫度。
斯德哥爾摩數據中心和熱回收
事實上,斯德哥爾摩的非常適合熱回收。在其他地方進行的許多熱回收項目沒有達到成功的熱回收的先決條件。第一個挑戰是需要管理的大量的熱量。一個10兆瓦的數據中心負荷符合大約2萬套現代住宅公寓的供暖需求(55 kwh/m2/年)。因此,在本地或與數據中心相同的建筑物中完全重用熱的選項是不可行的。
另一個需要考慮的關鍵因素是數據中心依賴于單一建筑物或有限居住區域來吸收數據中心熱量的風險。
只有數據中心連接到龐大的建筑物網絡,才能在足夠大的規模和合理的風險下進行熱回收。 采用斯德哥爾摩的12個TWh /年區域供熱系統,需要足夠的熱量來適應各種數據中心(相當于150兆瓦負荷的數據中心)的熱回收。
Fortum vrme有超過25年的經驗,從數據中心恢復熱量,并將其傳輸到地區供熱網絡,從1989年開始,IBM開始提供其Kista數據中心的熱量。
除了許多較小的數據中心使用的普通區域冷卻之外,FortumVrme還開發了具有熱回收的特定區域冷卻服務,例如,由Interxion在Kista的數據中心使用。 在Interxion,熱交換器和循環泵是冷卻數據中心內部冷水循環所需要的。 在這個過程中,數據中心的余熱被回收并返回到FortumVrme,在那里進入大型熱泵,然后提供區域供熱。
FortumVrme自此開發出一種商業模式,允許任何熱源接入城市供熱系統,同時接收供熱、開放區域供熱。使用專門用于熱回收的熱泵,熱泵的冷凝器側與區域供熱系統進行熱交換,在那里傳遞熱量,而不是將其散發到外部空氣中,這使得能量被使用兩次 - 為服務器供電以及為斯德哥爾摩提供供暖。
圖2 熱回收原理圖
目前,斯德哥爾摩有三十多個數據中心從事熱回收。
冷卻系統中的熱回收服務
正如前面所述,在斯德哥爾摩,可以用兩種方式來進行熱恢復。任何數據中心都可以用熱泵進行制冷,并在適當的溫度下將多余的熱量排除在區域供熱網絡中。另外,Fortum vrme提供了冷卻作為一種服務——(CaaS),數據中心的多余熱量被輸送到一個返回管道的生產工廠。在生產車間,過熱的熱量進入了大型集中熱泵的蒸發器一側,為地區供熱網絡供熱。
在斯德哥爾摩數據中心園區,FortumVrme歡迎兩種解決方案。 為了實現和分享規模經濟,FortumVrme已經開發并提出了一種增強的針對數據中心的CaaS產品,預計將達到超過5兆瓦的計算機負載。 通過使用較大的機器和串聯的熱泵,可以增加COP(制冷量),并且通常采用并聯配置,與局部熱回收解決方案相比,耗電量降低。
事實上,在每個數據中心園區(位于斯德哥爾摩的不同地點)都會有一個專用的冷卻裝置,在那里有大型的離心裝置(而不是滾動或螺旋),冷卻機為數據中心的冷卻提供CaaS,為整個園區提供熱量回收。
從數據中心的角度來看,所提供的交付服務是將冷水通過兩套系統分別連接到一套標準的冷凍水系統中,允許這種冷卻系統提供的全方位的設計靈活性。 數據中心冷凍水分配系統通過熱交換器與CaaS系統接口,在交付側提供 20°C的水,允許 22°C的水進入CRAH單元。 熱水返回到CaaS工廠,在那里它進入能產生68°C熱水的熱泵中。
根據供暖需要,向地區供熱系統供水。在斯德哥爾摩的數據公園Kista,制冷服務的價格(sek/mwh)隨著負荷的下降而下降,這反映了隨著體積的增加,熱量回收的好處也增加了。在該產品中,冷卻水冷卻將免費提供,以換取數據中心的余熱,其冷卻負荷僅為10兆瓦。
圖3 斯德哥爾摩的數據公園Kista價格模型
與使用數據中心自己的電氣系統相比,通過公共連接的電源是減少OPEX(運營成本)的一種方式,熱回收系統可以被認為是減少和最終消除OPEX冷卻系統的一種方法。有了這一功能,Fortum vrme建議每年運行CaaS的時間為8030小時,有99.7%的可用性,允許進行修訂和維護。
這一服務與電力公司的功能類似,它設想客戶將為CaaS補充冗余,并在沒有提供CaaS的情況下為數據中心提供冷卻。
考慮到未來使用量低,數據中心運營商可以選擇備用冷卻系統,而降低對OPEX的關注度。
由于備份系統每年的使用時間少于730個小時,主系統在設計上也不會過于復雜,運維的工作量也隨之降低,數據中心的水系統基礎設施由兩個系統共享。
圖4 數據中心使用熱回收與備份制冷系統
如果需要一個完全冗余的CaaS解決方案,可以提供一個具有兩個獨立提要的結構,但是影響定價模型。效率和環境PUE是度量數據中心效率的常用度量標準。它變得越來越流行,主要是因為它的簡單性。但是,PUE也受到了批評,因為它沒有提供數據中心的效率和環境影響的完整視圖。
Fortum vrme相信未來的綠色數據中心將會提供可持續的電力以減少對環境的影響。幾家主要的公司已經對這種影響做出了承諾,并且正在推進對額外的可再生電力的投資,主要是風力發電(Cook,2017年)。2016年12月,谷歌宣布計劃在2017年將其整個公司的可再生電力運營。
在這一轉型過程中,Fortum vrme與主要數據中心的參與者做出了同樣的承諾,在斯德哥爾摩的數據公園中增加了可再生能源的使用能力。
斯德哥爾摩的數據中心有10兆瓦的數據中心,大約有2萬套現代化的住宅公寓可以被加熱,用于焚燒的燃料資源可以被保存下來,減少二氧化碳的排放。部署熱回收,綠色數據中心可以變成凈氣候。在斯德哥爾摩,10兆瓦的數據中心負荷可以減少近8000噸的二氧化碳排放量。
圖5-ICT公司已經完成了100%的可再生能源承諾(Cook,2017)
圖6 10MW數據中心可再生電源與熱回收產生的CO2
無論你如何評價斯德哥爾摩數據公園的熱回收對氣候的影響,它對環境的影響總是比目前單純的為數據中心提供降溫的方案要好。