如今,用于云計算和機器學習的新硬件不斷地引入到組織的數據中心,并為其帶來了更多更強大的工作負載。與此同時,數據中心的整體機架密度越來越高,但并不是所有數據中心都能應對這種情況。
Colovore公司的聯合創始人兼首席財務官Coughlin表示,這種情況是由于數據中心行業空間管理和計算能力的保守方法所造成的。他指出,如今許多數據中心經理致力于擴大數據中心的機架規模,而不是提高機架的功率密度。他們將更多機柜的工作負載分開,而不是試圖管理那些充滿IT設備的機架。
Colovore公司位于加利福尼亞州圣克拉拉市的數據中心內景
Coughlin說:“如果將IT負載壓縮到這些機柜的空間中,就會發現機架功率密度可以更高。”
關注“足跡效率”
Colovore公司正在通過設計可以支持更高的機架功率密度的圣克拉拉市托管設施來解決這個“足跡效率”問題。Colovore公司總裁兼聯合創始人SeanHolzknecht說:“我們可以幫助用戶在其機架中部署更多的IT設備。我們的目標是建立更高的功率密度,因為在很多情況下,用戶并沒有將他們的機柜布滿IT設備。”
Colovore團隊表示,由于云計算和人工智能(AI)的應用增長為數據中心帶來更多的高密度工作負載,客戶將更多的IT設備放在機柜中,并尋求降低IT設備溫度的冷卻設備,希望從每個機架中獲得最大的利潤。而在數據中心空間有限的市場功率密度問題更為突出,例如圣克拉拉市場。
“我們在此看到很多市場機會。”Cooughlin說。Colovore公司已經在圣克拉拉的數據中心增加了兩兆瓦的電力容量,并計劃再增加兩兆瓦。第一階段的設計希望達到每個機柜20千瓦(kW)的功率密度,而在第二階段的建設設計中,將其功率密度提高到每機柜35千瓦。
“我們已經被市場需求所推動,”他說,“一些市場表現最好的客戶正在推動采用更高的功率密度。”
大多數客戶并沒有將功率密度推向極限。機架功率密度目前平均為每機柜11千瓦,部分客戶達到每機柜18千瓦。Coughlin預計在下一階段的功率密度平均水平將上升到13kW,有些客戶機架功率密度甚至達到了30kW以上。
云計算和人工智能改變游戲規則
在過去十年中,對于更高的機架功率密度即將到來已有大量的預測。然而,極端功率密度仍然有限,主要應用在高性能計算(HPC)。當時人們一致認為,大多數數據中心的平均功率密度為每機架3kW至6kW,超高功率設備平均每機架約10kW.
隨著功率密集型硬件(如圖形處理單元)和其他用于人工智能和機器學習工作負載的專用芯片的出現,這一情況正在發生變化。
Colovore公司是一家業務不斷增長的多租戶數據中心供應商,為高功率密度客戶提供優化服務Colovore首席技術官PeterHarrison說:“隨著行業適應這些設計,客戶將會采用這些技術和設備。而數據中心行業沒有像這些廠商適應的這么快。”
Colovore公司的圣克拉拉數據中心使用了Vertiv(艾默生網絡能源)公司提供后門水冷冷卻裝置的機架。LinkedIn公司使用了Motivair公司的后門冷卻單元,用于冷卻其在波特蘭附近數據中心的新設備,而新的Nautilus數據技術公司則計劃采用ColdLogik公司的后門熱交換器冷卻機架設備。
托管服務提供商與通道遏制技術
多年來,幾家大型托管服務提供商致力于開發高功率密度機架技術與設備。這些廠商其中包括總部在拉斯維加斯的Switch公司和CyrusOne公司,CyrusOne公司為休斯頓地區的石油和天然氣廠商的地震勘探數據處理而提供服務。
而另外一家獲得機會的托管服務商是ViaWest公司,該公司在美國和加拿大西部經營著29個數據中心。
ViaWest公司首席數據官DaveLeonard說:“有些應用需要這種高密度散熱技術,數據中心的功率密度將會增加。人們看到新興的超融合計算架構的使用,能夠進行非常密集的部署。我們希望為客戶提供最大的靈活性,使他們能夠獲得他們想要更多部署的計算基礎設施。”
大多數多租戶供應商主要的高功率密度策略是通道遏制,在機房中實現冷空氣與熱空氣的物理隔離。ViaWest公司采用了一種不同的方法,將部分控制功能與儀器和監控相結合。
該公司在德克薩斯州的Plano數據中心創建了一個測試籠,該測試籠配有負載庫(用于模擬測試和調試的電氣負載的設備),以演示其功能。
Leonard說:“冷通道的空氣可以采用幾個關鍵的方式來管理的。我們將標準的機柜部署適當的地方,以避免通過機柜混合冷熱空氣。我們在冷通道末端設置一扇門,以避免在柜體端部附近發生熱/冷空氣混合,并且在冷通道頂部采取措施將冷空氣保持在冷通道,不允許熱/冷空氣混合在機柜的頂部。我們還在構建了一個6英尺的冷通道與地磚瓦片,以允許足夠的CFM冷空氣進入冷通道。”
ViaWest公司將冷通道的頂部開放,而不是采用管道封閉措施,就像許多高密度解決方案一樣。該公司監測環境中機房多個點的空氣壓力和溫度,以確保設備正常冷卻。ViaWest公司采用的方法為每個機架中提供了更高的功率密度,但是與標準機架相比,可以采用更多的空間,因為它具有6英尺寬的冷通道。
機柜級冷卻解決方案
而幾家高功率密度廠商正在使用定制機柜,這其中包括總部在圣地亞哥的數據中心供應商ScaleMatrix公司,它有效地將數據中心縮小成單一的機柜。并縮小了工作負載的體積。
ScaleMatrix公司的動態密度控制柜具有超寬的外殼,擁有兩個隔開的空間。一個是底部隔間,其中部署了一個機架(具有額外的深度以容納HPC服務器)和一個包含熱交換器的頂部隔間。空氣在機柜內再循環,冷空氣通過機架前部的8英寸空氣通風口輸送到服務器入口。當廢氣排放到設備的背面后,將上升到冷卻室,并在冷卻之后再進行循環。
GPU主機廠商CirreScale公司擁有ScaleMatrix公司的一些設備,而且還獲得了垂直冷卻技術的設計專利,其中來自升降地板下方的冷空氣通過穿孔瓦片直接進入機柜的底部。然后將其垂直流過柜體,并排放到天花板通風室中。
浸沒在液體冷卻溶液中的服務器
在過去一年中,幾家廠商開發了具有超高功率密度的液體或制冷劑冷卻系統。絕大多數數據中心繼續使用空氣來冷卻IT設備,而液體冷卻主要用于高性能計算(HPC)。隨著云計算和大數據的廣泛出現,越來越多的企業正面臨與高性能計算(HPC)行業類似的挑戰,這可能是更大規模的數據中心運營商與液體冷卻技術相關的原因。
最近的一些例子:
Ebullient公司采用了Novec7000冷卻處理器的產品,Novec7000是3M公司生產的液體冷卻液,廣泛應用于比特幣市場的浸出式冷卻解決方案中。Ebullient公司并不是將服務器浸泡在溶液中,而是使用管道將介質流體直接傳輸到處理器,再將冷卻液體排出服務器機箱。
GreenRevolution公司的冷卻技術將服務器淹沒在類似于礦物油的介電液體中。服務器垂直插入插槽中,該槽內充滿了250加侖的ElectroSafe液體,這種液體可以傳遞熱量,但不會傳導電荷。
Aquila系統公司的Aquarius服務器使用OpenCompute公司為超大型數據中心設計的溫水液體冷卻。Aquarius系統公司使用集群系統的冷卻設計,使用管道來冷卻組件頂部的平板。
這一切都加劇了數據中心運營商面臨日益增長的設計和選擇的難題,這些運營商正在考慮高功率密度工作負載增長的問題。鑒于不同的用例和風險,業界的做法在未來一段時間內可能會保持多元化和復雜化。
當企業評估數據中心托管解決方案時,他們將電源的可用性,可擴展性和可見性視為關鍵決策標準。了解數據中心設施之間的差異以及這些差異對可靠性的影響,對于選擇數據中心合作伙伴至關重要。