如今,全球芯片制造商英特爾公司的數據中心設計達到了一個新高度,該公司設計制造了一種超高的機架,在同樣的空間內可以部署更多的服務器。采用了英特爾核心設計的新機架高度超過9英尺,結合了極致密度和能源效率雙重優勢。
英特爾公司正在通過數據中心的設計,以提高其龐大的內部IT操作的效率和經濟性,英特爾公司在全球的59個數據中心的服務器超過13萬臺。不久前,該公司將其在圣克拉拉廢棄的一個半導體制造工廠改造成為了一個數據中心園區,該數據中心園區的效率和電力容量可以匹配全球最大的超大規模服務器集群。
英特爾公司在圣克拉拉新數據中心內的超高機架
在英特爾公司的這個前半導體制造工廠,曾有數百名工人身著“兔子服”研發生產了大量的凌動核心處理器,如今,這個地方可能很快成為硅谷最繁忙的數據中心之一,因為英特爾公司計劃在未來五年內在這里提供30兆瓦的在線計算能力。
在數據中心的數據大廳里的工廠,英特爾高達9英尺的機架具備放置60臺服務器(60U的高度。該設計提高了每個機架的縱向和橫向承載服務器的容量,可以讓功率高達43kW的多個服務器部署在一個單一的機架上。為了管理這個功率密度,英特爾公司采用了一個熱通道氣流遏制系統和蒸發冷卻系統。
極端的密度達到極端的PUE
英特爾公司最新的數據中心的能源使用效率PUE為1.06,相當于Facebook公司和谷歌公司最節能高效的數據中心設施的指標,PUE值是數據中心能效的主要晴雨表。該數據中心空間為5000平方英尺,電力容量為5兆瓦,功率密度達到了每平方英尺1千瓦。
該數據中心的功率密度與英特爾前一代的數據中心相比有了顯著的改善,以前的數據中心空間為25000平方英尺,電力容量也是相同的5兆瓦。
英特爾IT部門首席技術官兼高級首席工程師Shesha Krishnapura
Shesha Krishnapura是英特爾IT部門首席技術官兼首席高級工程師,負責該公司的內部數據中心的運營。該數據中心的90%的電力容量是用于英特爾的芯片設計和研究操作。
英特爾公司全新的60U機架設計比標準服務器機架要高得多,標準的機架一般為7英尺高,19英寸寬,可容納42臺機架式服務器(42U)。英特爾機架與標準的服務器、交換機和電源的領先供應商合作。而其網絡交換機位于在機架底部而不是機架頂部。
英特爾設計的機架雖然支持19英寸的服務器的部署,但機架寬度更加緊湊,這樣有助于部署更高的功率密度。這使得英特爾能夠在部署25個機架的空間內可以容納30個機架。
“我們沒有浪費任何空間,”Krishnapurna說。
雖然機架設計很酷,但服務器需要更好的冷卻。英特爾公司采用了多個冷卻策略來管理功率密度和能源效率。
提高冷卻效率的幾種方法
英特爾的60U機架系統的外殼中有一個定制的熱通道遏制系統,包圍著每側24個服務器,在兩端設計了推拉門,當推拉門打開,一股熱氣撲面而來,這顯露出散熱設計的關鍵:氣壓。
外殼中有一個較寬的10英尺長的熱通道。在高負荷工作時,通過安置在外殼頂部的冷卻裝置將60U服務器產生的廢熱排出。當負荷較低時,啟動熱通道頂部的大風扇,幫助排出熱量。
部署在D2數據大廳的英特爾IT超級計算機,該系統涵蓋15個機架,擁有近1300個計算節點
當空氣從冷卻裝置排出時,外殼上面的擴散器引導冷卻氣流回流進了房間。房間里的“冷通道”溫度為華氏83度,而熱通道為華氏108度。其溫度可以稍高或更低。
在較高室溫下運行的能力也使得英特爾的數據中心更加節能。數據中心的冷卻采用水循環冷卻,流入冷卻裝置的水溫為華氏78度至80度,而返回的水溫為華氏82度至87度,返回的熱水再流向換熱器,其冷卻的水可以采用中水。加利福尼亞州的干旱,推動當地水資源的回收利用。因此利用回收的中水,減少使用飲用水,成為了一個重要的優先事項。
而就在D2數據大廳,英特爾經營的另一個高密度的數據中心使用空氣冷卻技術。空氣通過架空的百葉窗和大型變速風機進入數據中心。數據大廳設有31000臺服務器,其中包括英特爾IT超級計算機。目前這個大廳中的超級計算機在世界上最強大的超級計算機前500強排名81,有15個機架1296個服務器節點。
服務器余熱通過一個大的通風管排出屋外。在寒冷的日子里,這個溫暖的空氣可以被重新混合,以調節數據大廳的環境溫度。
圣克拉拉數據中心的未來
數據中心的創新對英特爾來說并不新鮮,因為英特爾公司就是氣流遏制系統的早期采用者。
Krishnapura介紹說,公司在圣克拉拉的數據中心命名為D2數據中心,其建設的目的是保障英特爾公司內部數據中心的IT業務運行,提高芯片設計和計算能力的創新能力,從而為公司提供一個創新的未來。這個面積為69萬英尺的五層建筑的旁邊是諾伊斯羅伯特大廈,是英特爾公司的全球總部。
芯片生產的“潔凈室”是芯片制造工廠的環境控制的設施,可避免皮膚的細小顆粒和頭發落在電路上,造成污染。這就是為什么英特爾的員工穿著“兔子服”出現在該公司的電視廣告的原因,這個芯片工廠于1989年開通運營,生產芯片的工人在進入潔凈室必須先進行淋浴,清洗之后才能進入晶圓車間。
而隨著時間的流逝和技術的發展,半導體生產工廠逐步遷出硅谷,并轉移到其他國家和其他地區。2009年這家工廠被關閉,工廠設施設備都被淘汰或拆除。
英特爾芯片生產工人身著“兔子服”,以防污染芯片
而這個曾經大規模生產晶圓業務工廠黯然落幕,這個倒閉的半導體工廠也為英特爾公司建設數據中心提供了改造機會。
這種趨勢正在得到認真地當新人財富數據中心獲得了前希捷工廠在SanJose,將它轉換成一個數據中心,并降落租賃與一家主要超大規模租戶。其他工廠改造緊隨其后:
2009年,NextGenerationData公司將LG公司在威爾士的半導體工廠改造成了一個空間為75萬平方英尺的數據中心。
2010年,QTS公司收購了內存制造商奇夢達在里士滿附近的一個晶圓廠,并將其改造成了一個空間為100萬平方英尺的數據中心,現在擁有眾多的政府和企業租戶。
QTS公司隨后在2013年收購德克薩斯歐文的一個芯片工廠,將其改建成為該公司在達拉斯數據中心的第一階段項目。
Krishnapura表示,英特爾公司改造圣克拉拉芯片工廠的其中一個原因是這里離工人的家比較近。“因為當時有那么多人在這些工廠工作,我們需要為他們提供更多的工作機會。”Krishnapura說。
Krishnapura認為該數據中心將成為英特爾公司業務發展的增長引擎,并預計該數據中心將以穩定的速度增加服務器來支持其研發。