少了風花雪月的互聯網光彩,也沒有吸金吐銀的資本運作游戲,或許它本應更加純粹一些。也許你之前并不了解它,但它就在那里——數據中心互聯網行業最后方的一塊基石,一塊保留了那么一點傳統領域工程師情懷的地方。
今天,互聯網充滿了顛覆和改造事物的力量,不經意中,數據中心技術也隨著這股力量揚帆起航,讓我們看看它到底會駛向何方。
本文比較冗長,各位看官可以根據需要選擇章節。第一部分,制冷與數據中心節能的邏輯關系;第二部分,騰訊歷代數據中心采用的制冷節能技術;第三部分,國外數據中心有意思的制冷方案;第四部分,數據中心未來制冷節能的一些看法。
一、制冷與數據中心節能的邏輯(備注:數據中心領域的制冷,泛指將數據中心內IT設備等產生的熱量搬運出去,并維持內部溫濕度的整個過程。) 1、最大的山頭,節能戰役成敗的關鍵 拿數據說話,美國環保署提交給美國國會的一份研究報告稱,在數據中心的全部電源消耗中,制冷占到40%左右;某公司行業調研分析數據中心能源使用情況后發現,制冷系統(由制冷和空氣傳輸設備組成)占用38%的能源消耗如圖所示: 1 數據中心能耗分布 毋庸置疑,制冷節能對數據中心具有十分重要的價值。既然值得去做,那么接下來看看行業里面的領先者,做的情況如何。 2、前仆后繼,大有可為 Google在2012年數據中心峰上會公布其2011年(也就是3年前)的某數據中心12個月的PUE數據。全年PUE為1.14,其中制冷占到9%(產冷7%,散熱2%),供電占到4%,其他還有1%,(相比IT負載功耗),如下圖分布:
2 Google公布其某數據中心PUE情況 更多的數據就不列舉了,從40%的比重下降到不到10%,已經證明了數據中心的制冷節能是有空間做好的??赡苡腥藨岩桑珿oogle的成功無法被復制,那我們暫時跳出數據中心的范疇,看看制冷這個專業本身的情況。
3、站在巨人們的肩膀上 1755年,W.Cullen發表了《液體蒸發制冷》論文,開創了人工制冷的新紀元。1856年,蘇格蘭人J.Perkins發明了壓縮式制冷機,從此蒸汽壓縮式制冷機在制冷裝置的生產和應用中占了統治地位。1924年,我國第一個安裝中央空調的商用建筑。坐落于上海延安西路的嘉道理大理石大廈,使用了美國約克公司活塞式冷水機組。1931年,上海某紡織廠采用地下井水進行噴霧加濕,我國最早采用噴淋式的空調調節系統工廠。1950年,國內高校開設了暖通空調專業。 可見,制冷學科基礎非常深厚,積累了大量成熟的技術理論和實踐,完全應該可以支撐數據中心節能的技術要求的。
4、因地制宜,為我所用 本人制冷專業本碩畢業,對制冷充滿敬畏,所以剛進入數據中心領域時不禁內心有一個疑問:互聯網公司、數據中心細分行業能在制冷技術上取得一些什么進展?最近看到一篇評價ElonMusk的文章,有了一點啟發。 ElonMusk前后做過PayPal、SpaceX、SolarCity、Tesla,他進入每一個領域,都有一個共同點——整合成熟技術去入侵那些“沉迷”于基礎研發而長期無法突破的行業。他并未解決基礎問題,而是跨界整合。 SpaceX用成熟的液體火箭技術,降低了火箭的制造和發射成本,不像NASA那樣常年執著于基礎研發。Solarcity也沒有在太陽能板技術上取得突破,而只是創造了一種新的消費融資模式。Tesla則是將成熟的服務器集群管理和18650鋰電池技術進行整合,創造出強大的BMS.
3 Elon Musk和他的Tesla、SpaceX 數據中心行業,不關注突破制冷基礎技術,技術整合才是關鍵!也許這就是前面問題的回答吧。 5、沖鋒陷陣,但勿忘初衷 前面談到數據中心制冷節能值得去做,Google也做好了,專業本身也有條件讓我們去做,牛人Elon Musk也告訴我們如何去做,那么數據中心制冷節能真的就一帆風順嗎? Facebook的第一個自建數據中心碰到了一個讓運維的啼笑皆非的麻煩:機房里形成了另一朵實實在在的云,而且開始下雨。“那幾分鐘,你站在臉書的機房里,噼里啪啦,四周一片煙花爛漫,無數的超薄服務器隨不可抗拒的物理原理而去。”運營負責人如此回憶道。
4 對于數據中心來說,節能誠可貴,穩定價更高!制冷新技術,勿作蕭何,一定要小步試錯,穩定逐步的去推廣。
小結:數據中心存在很大的制冷節能空間和潛力,成功的行業先驅告訴我們此事之可行性,制冷專業本身又具有深厚的基礎實力條件,成功之關鍵在于對技術的整合和深度定制,最后以期實現高穩定性的制冷節能方案。這就是自己所理解的數據中心制冷節能邏輯:
5 數據中心與制冷節能 二、騰訊歷代數據中心制冷節能技術 (備注:針對騰訊自建機房,騰訊承擔了其規劃運營優化等多方面的工作,可靠承載了公司數以十萬計的自用服務器) 1、騰訊歷代數據中心制冷技術總覽 第一代數據中心,出現在2007年深圳寶安,它的特征為地板下送風以及冷通道封閉;第二代數據中心,出現在2010年天津,在第一代基礎上,采用了離心冷水機組、板換自然冷、新風自然冷以及水蓄冷的技術;第三代數據中心,出現在2012年的寶安四期,這一時期采用了大量的CFD仿真、水平行間送風以及模塊化的設計理念;
6 騰訊歷代數據中心制冷技術總覽 2、騰訊第一代數據中心制冷節能,末端冷量利用優化 早期的數據中心機房內,普遍采用風冷精密空調,僅為了解決用戶眼前的資源需求問題,尚未涉及到節能層面。隨著業務規模和服務器數量的增長,寶安一期機房,采用了風冷精密空調+地板下送風的方式;寶安三期機房,則采用了風冷精密空調+地板下送風+封閉冷通道的形式。
7 第一代數據中心制冷節能情況 可見,通過簡單的氣流組織優化,提高了末端冷量的利用效率,達到了顯著的制冷節能效果。(備注,圖中PUE為某一時期的橫向對比,非年平均值)那么優化氣流組織,更進一步的分析其節能原因如下圖所示:
8 第一代制冷節能原因分析 表面上理解,通過氣流組織優化房間內溫度場更加均勻,規避了“大馬拉小車”的現象。但實質上還是會對冷機和風機的有性能影響:1、由于送風溫度升高,制冷蒸發溫度有所提高,在冷凝溫度不變的情況下,從壓焓圖上可以看到,單位流量的制冷量提高而壓縮機的壓縮功減少,制冷效率提升;2、由于送回風通道阻力下降,管路阻力曲線變得更加平緩,對應于相同流量的壓頭下降,所以匹配的風機轉速降低,風機功耗下降。 3、騰訊第二代數據中心制冷節能,優化冷源產冷 相比于第一代的寶安數據中心,騰訊自建天津數據中心增加了離心冷水機、板換自然冷以及水蓄冷的方案,制冷能耗進一步降低。
9 第二代數據中心制冷節能情況 在第一代寶安機房的末端冷量優化的基礎上,天津數據中心更多是在制冷源頭上做文章。如何優化冷源產冷,進一步分析其節能原因:
10 第二代制冷節能原因分析 解釋如下:1、相比于風冷精密空調,采用冷凍水系統,冷機制冷的冷凝溫度可以控制在更低的范圍內。在制冷蒸發溫度不變的情況下,從壓焓圖上看到,冷凝溫度降低使得單位流量下制冷量增大,而所消耗的壓縮功減小,制冷效率提升;2、通過提高冷凍水送水溫度,直接提高了制冷蒸發溫度,使得冷機更加節能;3、由于是采用的水系統,可以很靈活的通過板式換熱器來實現Free Cooling,省去了壓縮機的壓縮功以及風冷機制冷劑壓力控制所需要的額外功耗等;4、關于水蓄冷,通常說只省電不節能,這個說法應該還不夠全面。從典型的離心機工作性能曲線上看到,壓比隨著流量增大而下降,制冷效率則存在最佳設計工況點。所以通過水蓄冷,調節負載分配,也是可以起到一定節能效果的(尤其在負載較低的情況下)。
騰訊第二代+數據中心制冷節能,天津實驗機房補充一下騰訊二代+的制冷方案,出現在天津自建數據中心實驗機房,采用了封閉熱通道+新風自然冷的方式。該機房的PUE做到了1.3以下,但更重要的是,通過實驗性質測試我們隊空氣質量、過濾成本等有了更多的經驗和認識。
11 第二代+數據中心制冷節能情況 取消“制冷”環節,也成為數據中心制冷節能的共識。 4、騰訊第三代數據中心制冷節能,精細化制冷 典型代表是寶安四期微模塊機房,由于機樓限制,采用了傳統風冷冷水機組再加上MDCv1.0(目前最新版本已到v2.2)的方案,在深圳的秋冬季節將PUE降低到了1.4左右的水平。
12 第三代數據中心制冷節能情況 這個階段,通過定制末端水分配單元以及列間水平送風空調,用標準化、產品化的設計和交付,實現精細化制冷降低了能耗,并且更重要的是降低了運營復雜度,提高了制冷節能的穩定性。 相比于第一代寶安機房的末端冷量優化,第二代天津數據中心優化冷源產冷,第三代數據中心制冷節能更多的是體現在制冷精細化方面:
13 第三代制冷節能原因分析 精細化制冷節能,包括四個方面:1、由于列間空調就近送風,送風距離短,可以適當的提高送風溫度和冷凍水溫度,從而利于提高了制冷蒸發溫度,提高冷機制冷效率;2、通過大量運用CFD有限元仿真,確定了模塊內最優的顆粒度和布局,使得溫度場更加合理;3、微模塊分批啟用,減少冷量的無效循環,讓冷風送到需要的IT設備位置,從而減小風阻,降低風機功耗;4、標準化的設置、產品化的交付,在線監控預警,避免由于節能目的而導致穩定性降低。