在過去的十年中,人們對于數據中心更高的機架功率密度的即將到來有著大量的預測。然而,極端功率密度的案例卻仍然有限,主要出現在高性能計算(HPC)和特種處理的應用場合,如比特幣采礦行業 。
在數據中心設計層面,一個重要的趨勢是提高功率密度。鑒于數據中心的空間限制,其需要更高效的運作,以應對電力需求和成本的上升,很明顯,將每臺機架投入更多的資源是一個非常實用的解決方案。但是,這一方案除了擁有其固有的好處之外,提高功率密度也為一些數據中心運營商帶來了一些必須解決的問題和挑戰。
總部位于圣克拉拉的數據中心高密度托管服務提供商Colovore公司認為,數據中心的功率密度在未來幾年將更加密集,而這一轉變將加快。
傳統的數據大廳冷卻設計將很難冷卻這些高密度服務器機架。這就是為什么Colovore公司是采用水冷設備冷卻其圣克拉拉數據中心高密度機架的原因。
Colovore公司圣克拉拉數據中心
“當去年我們公司進入市場的時候,人們對機架的高功率密度并沒有什么興趣。”Colovore公司的聯合創始人兼總裁肖恩·霍肯斯特說,“而今年,這些用戶的基本要求是機架功率最低的密度為每機架10kW。這真是市場情況的一個反轉。”
Colovore公司并不是唯一采用后門熱交換器的行業廠商。LinkedIn公司正在實施一個新的數據中心設計,為其俄勒岡州波特蘭市附近的新數據中心部署后門冷卻裝置。該公司表示,其下一代設計將使用“機柜級散熱”技術,這將使其在過去的數據中心建設中的機柜的密度增加一倍。新的數據中心將由INFOMART公司建設,LinkedIn公司已經租賃了8兆瓦的數據中心電力容量和空間。
由于后門冷卻裝置在數據中心托管提和大規模數據中心提供商的采用,一些人認為這是機架的功率密度最終開始上升的一個征兆。并為數據中心運營商帶來了新的機遇和挑戰,都在開始推動新的數據中心的設計,如colovore公司和LinkedIn公司。
如今,數據中心行業在討論高功率密度的到來會有多久?第一個故事的主題可以追溯到2002年,當制冷行業廠商在當年召開的行業大會上展示水冷機柜,并預測將會成為冷卻“新模式”。一些業界人士預測,比如2005年的行業標準可以達到每平方英尺150瓦特,但這是不成熟的。比如在衡量每個機柜的功率密度時,應該以每平方米來進行測量,而不是每平方英尺瓦來測量,這個標準后來很快得到通過。
如果功率密度是一個期待已久的問題,就是數據中心客戶準備進行容量規劃,尋求比他們可能需要的更多的工作負載,并提供更多的冷卻能力。
“現實情況是,每個人都表示他們希望功率密度達到每平方英尺200 250瓦,但幾乎沒有人使用它。”數據中心托管專家DataSite公司創始人兼總裁杰夫·伯吉斯說,“因為會有一些采用高功率密度的用戶,但更多的是采用低功率密度的用戶。”
傳統的企業數據中心用戶的每機架運行功耗為3kW到5kW,根據FIS公司云服務總監肖恩·科納韋表示,“我明白數據中心高功率密度是怎么回事,尤其是在內部私有云,在那里人們可以看到每機架的功率達到了10至15千瓦,”科納韋說。“我認為我們將看到更多這樣的案例。”
科納韋說,他所在公司主要業務是為金融服務行業提供IT解決方案,其自己的機架運行的功率為15千瓦到30千瓦。但也有一些企業正在測試甚至更高密度的機柜。
更高的功率密度對于設計意味著什么
“我們正在推動50千瓦的機架的設計,”eBay公司基礎設施管理和業務總監理查德·唐納森說,“我們正在設計第五代服務器,這意味著企業的數據中心機柜技術正在改變。我們正在研究在數據中心實現更高的功率密度,因為我們正朝著最低成本的方向行進。”
eBay公司在鳳凰城的數據中心
eBay公司是第一家使用水冷后門冷卻裝置的數據中心運營商。2014年,該公司在其鳳凰城數據中心的一個數據大廳中將行間空冷機組切換到水冷后門冷卻單元。數據大廳房間容納16個機架,每個機架可容納30kW到35kW的服務器,而采用空氣冷卻技術,eBay公司不得不采用六個機架位置部署冷卻設備。而水冷后門冷卻裝置之后,eBay公司將這六個機架部署服務器,在同等空間提高了計算能力和功率密度。
“我認為我們考慮到了冷卻技術的發展方向,人們今后在數據中心機房中將看到更多服務器。”唐納森說。“我們現在看到到每機架1千瓦轉變為每機架5千瓦的機架功率密度的轉變。這種趨勢正在到來。目前在Equinix公司和DigitalRealty公司的數據中心達到了更高的功率密度。”
數據中心開發商杜邦Fabros科技公司也感受到了這一趨勢,該公司正在更新其數據中心設計,以適應更高的機架密度。
“在我們的投資組合中,我們看到了每機架3千瓦客戶和每機架15千瓦客戶之間業務的差距越來越大。”杜邦Fabros技術公司數據中心運營執行副總裁,斯科特·戴維斯說。“因此在我們最新的產品中,我們必須具備功率密度高達每平方英尺300瓦的能力。”“
杜邦Fabros技術公司及其多租戶數據中心提供商正在逐漸適應功率密度和可靠性日益變化的要求。對于某些服務提供商來說,更高的功率密度提供了專業化和差異化的機會。
后門冷卻技術使得數據中心設計發生了幾個顯著的變化。其冷卻設備附加到機殼的后面,在機架內使用服務器風扇提供氣流通過該單元,通過門式線圈將熱空氣排出,并將其冷卻,并將其冷卻后再返回進入機架。
這些水冷冷卻設備可以比空氣冷卻設備冷卻更高的功率密度,最高可達每機架35kW,不再需要在機柜周圍放置CRAC設備,節省了機房空間。并且可以允許用戶在數據大廳的服務器可以在更高的溫度運行,在eBay公司的案例中,其溫度在華氏80度左右。
“如果人們已經習慣了其數據中心是一個冷庫的話,那么進入采用這種冷卻技術的數據中心將是一個全新的體驗。”Colovore公司總裁肖恩·霍肯斯特說,“在我們的數據中心中,熱通道和冷通道之間沒有什么區別。”
替代空氣冷卻設備的是,在數據中心架空地板下的冷卻水管連接著熱交換器和冷卻塔,并通過工業強度的軟管連接到冷卻門,其設備采用的是艾默生網絡能源公司生產的力博特空調設備。
冷卻設備供應商認為這是冷卻10kW的機架設備最有效的方法,但其設計只被一些用戶謹慎小心地采納,而數據中心行業重點還是采用自然新鮮空氣進行冷卻。而Colovore公司認為采用冷卻門進行制冷的時代已經到來。
“這是一個令人難以置信的高效制冷系統,你可以把它放在一個機柜中。”霍肯斯特說。“因為設備如此密集,可以占用較少的機柜。另外,建設密集的冷卻系統在成本上要以更加低廉。”
Colovore公司總裁肖恩·霍肯斯特和首席技術官彼得·哈里森表示,“我們認為將看到更多數據中心托管服務供應商采用這種技術,我們是這種技術的早期采用者,而這種技術將會讓人們接受并普及。”
Colovore公司為圣克拉拉物業公司的數據中心提供了高密度數據中心的解決方案,該數據中民具有9兆瓦的電力容量,而其電力來自于鄰近的硅谷變電站。
功率密度在數據中心市場的區別
在擁擠的硅谷數據中心市場,Colovore公司在數據中心功率密度的設計與眾不同。“人們所看到的很多美觀好看的數據中心的功率密度不盡人意。”霍肯斯特說,“一些企業都從這些數據中心遷移出去,他們很多的數據中心設施使用壽命接近20年了,一些公司都意識到他們必須對數據中心進行改造,但卻沒有投資的想法。”
Colovore公司與一些企業進行了合作。一家云計算廠商需要在數據中心容納750千瓦設備,“我們達成了這筆交易,因為我們只部署了50個機柜就可以實現其功率需求,并只占用了2500平方英尺的空間。”霍肯斯特說。
Colovore公司建設的數據中心設施由硅谷的一個數據中心知名開發商LESpelio公司擁有,該公司曾經為“集裝箱托管數據中心”設計數據中心模塊。“最重要的是,Pelio公司的確有雄厚的技術開發實力,其9兆瓦電力容量的數據中心將在這里建成。”霍肯斯特說,“我們可以在未來分三個階段建設這個數據中心。我們很高興與這樣一個擁有豐富設計經驗的數據中心開發商合作。”
Colovore公司院子中設有熱交換器和冷卻塔
Colovore公司在該數據中心第一階段已經建立了2兆瓦的數據中心空間,并將很快添加另一個2兆瓦的數據中心空間。隨著需求的不斷增長,Colovore公司還可以添加兩個2.5兆瓦,直至達到9兆瓦的電力容量。
Colovore公司與DigitalRealty公司既是鄰居,又是合作伙伴。DigitalRealty公司投資辦公室首席財務官斯科特·彼得森是Colovore公司董事會成員。
一個有趣的地方是,Colovore公司認為年輕的工程師在數據中心團隊的存在將會改變功率密度和采用水冷設備的態度。
曾就職于谷歌公司的哈里森認為Colovore公司作為“云原生”的公司,在采用令人舒服的DevOps原則方面做得特別好。
哈里森說:“很多年輕人在他們的起居室里玩電腦游戲,而其采用水冷卻的需求一直在增長。“很多年輕的公司都在購買新的設備,而部署新的設備需要更高的功率密度。因此,數據中心的功率密度是許多客戶面臨的一個大問題。”
那么,采用冷卻門技術預示著數據中心的功率密度會發生變化嗎?