在今年年初OCP 2013峰會上，F(xiàn)acebook發(fā)布了最新的數(shù)據(jù)中心建設思路RDDC(rapid deployment data center)，其模塊化、標準化、預制化水平到達一個新的高度。本文將回顧RDDC的前世今生和Facebook IDC發(fā)展之路，并從技術上分析數(shù)據(jù)中心建筑、電氣、暖通、微模塊等，最后談談RDDC對國內(nèi)的影響和啟示。本文有不少筆者個人觀點和猜想，加之資料和個人水平有限，未免有不少錯誤，希望讀者多多指正(本文相關圖片材料均來自網(wǎng)絡視頻等資料)。

1 Facebook 數(shù)據(jù)中心發(fā)展之路

在分析RDDC之前，我們不妨回顧一下Facebook數(shù)據(jù)中心發(fā)展之路。Facebook從早期租賃數(shù)據(jù)中心，到去俄勒岡建自己的數(shù)據(jù)中心，再到去歐洲瑞典Lulea建新數(shù)據(jù)中心，雖然中間時間并不長，但其標準化程度和成熟度都很高。這有賴于美國IDC的技術水平發(fā)展較高，以及Facebook可以借鑒各種互聯(lián)網(wǎng)公司經(jīng)驗。總體來說，F(xiàn)acebook IDC演進經(jīng)歷了若干階段：

1) 定制服務器、存儲等ICT設備;

2) 改變供配電架構，定制冷凍水末端空調(diào)[ZY1] ，采用一路480V市電與一路48V電池柜的供電系統(tǒng)架構，發(fā)布OCP open rack V1.0[ZY2] 規(guī)格。

3) 使用Penthouse設計。干燥新風通過蒸發(fā)散熱，等焓加濕降溫[ZY3] ，可以選配DX盤管(Facebook只有一個數(shù)據(jù)中心有配DX盤管)。

4) 和CA合作。CA提供DCIM軟件，F(xiàn)acebook在CA DCIM基礎上通過開放接口二次開發(fā)相關應用。

5) 采用RDDC方法，發(fā)布OCP open rack V2.0。改為480V直接到服務器機柜分布式電源[ZY4] ，輸出12V，鋰電池直掛12V母排架構。

圖1 Facebook 數(shù)據(jù)中心發(fā)展之路

Facebook一開始定制服務器和存儲等設備時候，就希望能優(yōu)化供配電架構，當時發(fā)布的OCP open rack V1.0規(guī)范其實就是配合定制服務器電源做成的微模塊。具體電源系統(tǒng)單線圖如圖2所示。

圖2 OCP open rack V1.0規(guī)范中的電源系統(tǒng)單線圖

當然，圖2關于UPS的效率86%是非常不合理，實際上現(xiàn)在高頻交流UPS的效率可高達96%。關于直流電和交流電在效率上比較，筆者推薦參考施耐德APC 第127號白皮書《數(shù)據(jù)中心交流配電與直流配電的量化比較》(http://www.apcmedia.com/salestools/NRAN-76TTJY/NRAN-76TTJY_R2_CH.pdf)

此白皮書比較中立分析了交直流配電的系統(tǒng)效率。但難以否認的是，F(xiàn)acebook通過整合服務器電源和前端直流UPS，使得效率從73%(修正值)提升到87%。即使換到國內(nèi)380V電壓應用環(huán)境，減少北美480V/208V降壓變壓器，F(xiàn)acebook的設計也能提高約7%。但是，筆者認為這種整合雖然能夠提升效能減少成本，但至少目前而言，對于大部分企業(yè)客戶，這種對ICT設備的供電架構改造并不現(xiàn)實。另外，有不少人會認為Facebook這種模式通過犧牲系統(tǒng)可靠性來獲取效率提升，而可靠性通過軟件、多個數(shù)據(jù)備份等保證，類似Google的方式。但根據(jù)Facebook做過相關電氣系統(tǒng)可靠性分析，結論卻讓人感到驚訝，這種簡單而高效的系統(tǒng)反而可靠性更高!圖3與圖4是Facebook工程師分析配電系統(tǒng)可靠性的比較：

圖3 典型數(shù)據(jù)中心可靠性分析

圖4 Facebook數(shù)據(jù)中心可靠性分析

筆者認為Facebook的分析相對較為簡單，缺乏整體配電系統(tǒng)架構量化分析，比較科學嚴謹?shù)姆椒ㄒ褂每捎眯杂嬎丬浖ㄟ^單線圖和相關電源設計故障時間和維護時間等參數(shù)具體計算。但從系統(tǒng)簡單即可靠的角度來看，F(xiàn)acebook的配電架構確實未必比傳統(tǒng)金融行業(yè)Tier4級數(shù)據(jù)中心配電設計的可靠性低，特別是直流系統(tǒng)的電源運維更簡單。所以，從某種意義上說，國內(nèi)240V直流配電技術的流行，并不是為了效率上的一點提升，而更多是基于系統(tǒng)可靠性相對一致，采購成本和運維比傳統(tǒng)交流UPS更優(yōu)。

同樣的道理，我們不妨看看為什么國外用同軸飛輪UPS的用戶較多，其實同樣因為系統(tǒng)簡單。如思科Allen數(shù)據(jù)中心、雅虎數(shù)據(jù)中心都用了飛輪UPS，因為配電系統(tǒng)設計非常簡單，使用機械系統(tǒng)降低電子控制難度和故障率，配合其無電池設計、非常緊湊的占地面積，還可以作為外置預制電力模塊受到極大歡迎。由于國內(nèi)用戶、設計院等對飛輪UPS認識不足，同時飛輪UPS的初期采購價格較高，廠家選擇面相對較少而導致應用案例非常少。筆者認為，若沒有整合服務器電源，從系統(tǒng)簡單性、效能來說，使用同軸飛輪UPS(飛輪+發(fā)電機)確實對于企業(yè)客戶是一個不錯選擇，比交流雙變換UPS系統(tǒng)要優(yōu)。但Facebook的做法是采用后備式直流UPS，效能極大提高同時，維護容易很多，個人也更喜歡使用分布式電源方式。

圖5 Facebook定制的48V DC UPS，輸出給6個OCP V1.0機架供電

OCP的機架內(nèi)部配置48V/12V直流轉(zhuǎn)換器，即機架的服務器電源采用整體設計;服務器集中式電源如下圖所示：

圖6 Facebook OCP V1.0 服務器集中式電源

在Open Rack V1.0中，可以放置3個4.2kW功率模塊，支持12kW機架功率密度。如果是8kW的話，放置2個功率模塊即可，輸出12V母排接到服務器輸入側。

除了配電系統(tǒng)，針對俄勒岡的干燥環(huán)境，F(xiàn)acebook使用penthouse閣樓設計其制冷系統(tǒng)，其典型的內(nèi)部構造如下圖：

圖7 Facebook 俄勒岡數(shù)據(jù)中心內(nèi)部制冷建筑結構圖整體使用無冷機設計，制冷先后經(jīng)過過濾、混合艙、加濕蒸發(fā)散熱、風機墻、排風閥等。

總體來說，F(xiàn)acebook第一代數(shù)據(jù)中心更多集中在微模塊的建設和末端電源技術改進，OCP open rack配合定制服務器整機架交付。更多信息可以參見下列視頻鏈接：http://v.youku.com/v_show/id_XNTcwOTU5Njg0.html

可以看出，在電氣系統(tǒng)與配電架構上Facebook已經(jīng)做了較多產(chǎn)品化和標準化，但是penthouse設計需要較多的工程化并且與建筑配合。由于機械系統(tǒng)(HVAC/Mechanical system)采用工程化設計需要配合建筑施工，同時微模塊外的電氣系統(tǒng)也為工程實施，導致數(shù)據(jù)中心整體交付速度滯后于服務器和微模塊交付速度。因此，F(xiàn)acebook針對這個問題，希望對微模塊外的機電、IDC建筑通過產(chǎn)品化、標準化預制、預構件等方式改進，同時并行作業(yè)，從而達到業(yè)務部署速度、ICT設備部署速度、機電部署速度、建筑部署速度幾乎同時匹配，做到快速交付(Rapid deployment)。這個就是RDDC快速部署數(shù)據(jù)中心的概念由來。

2 RDDC的構成

2.1 建筑布局、分區(qū)

圖8 Facebook的RDDC整體園區(qū)布局渲染圖

Facebook并沒有采用多層結構或俄勒岡式的兩層結構，相反，其采用了大平面一層的設計方式放置所有設備，通過提高層高來滿足布線、熱通道回風等要求。

圖9 Facebook RDDC 區(qū)域平面布局圖

其中，中間部分放置電氣模塊(詳細會在電氣系統(tǒng)章節(jié)介紹)，MECH UNITS為機械制冷模塊，使用AHU的方式(詳細會在機械系統(tǒng)章節(jié)介紹)。A和B為數(shù)據(jù)中心白區(qū)(white space)，放置服務器、存儲、網(wǎng)絡等微模塊。如果我們細心看，其實整體布局類似傳統(tǒng)數(shù)據(jù)中心的設計，即兩邊為精密空調(diào)，一側為UPS等配電系統(tǒng)。傳統(tǒng)設計方法如圖10所示

圖10 數(shù)據(jù)中心布局傳統(tǒng)設計方法

在布局圖Elec Skids電氣模塊下部，實際上是放置泵房模塊，泵房模塊的作用，筆者認為主要用于AHU的蒸發(fā)散熱泵組。由于Lulea的地區(qū)溫度很低，可以全年100%使用新風自然冷卻，蒸發(fā)散熱估計用于夏季。

圖11為Facebook Lulea數(shù)據(jù)中心其中兩個微模塊的截面圖。可以看得出Facebook建筑上參考了雅虎雞舍設計，頂部有傾斜，使得熱氣流更容易上升，同時雞舍式的熱氣流排出口(圖左側)，令廢熱可以從頂部排出，熱氣流可通過風機調(diào)節(jié)。

截面圖可以看出，右側是AHU模塊，中間為2個微模塊，而左邊突出為熱氣排出口。層高較高主要考慮熱通道回風。附圖12雅虎2007年公布的雞舍式DC建筑設計。

我們不妨對比一下Lulea一期的DC設計，沿用俄勒岡設計理念，采用傳統(tǒng)建筑建造模式。

圖13 Facebook Lulea數(shù)據(jù)中心一期設計

新型的RDDC，采取了鋼結構預構件Pre-engineered metal building(一般簡稱PEB)的方式設計，鋼結構吊裝部署，鋼結構和微模塊不同。部署方法如圖14所示。

圖14 Facebook Lulea RDDC數(shù)據(jù)中心PEB設計

在這里，筆者認為有必要介紹一下PEB(Pre engineered Building英文全稱)和PFB(Prefabricated building)之間的差異，大家就會理解集裝箱和這種方法的差異。PEB和PFB之間難以有一個非常明確的界定，兩者看上去有點像成品和半成品的關系。PEB定義了部件，損失了現(xiàn)場交付時間，但更改設計靈活性比PFB高，同時運輸成本更低。而PFB相比集成度高，提高了交付時間，但設計相對固定，更改設計靈活性差，運輸成本通常較高。PEB和PFB優(yōu)劣性更多基于不同系統(tǒng)用戶實際應用情況，難以有定論，如IT集裝箱是PFB，而Facebook的微模塊是PEB做法，就目前來看，谷歌拋棄了IT集裝箱做法，筆者認為PEB+PFB混合做法更優(yōu)。而Facebook的RDDC做法，在建筑上使用PEB，在機電模塊上使用PFB，而在微模塊上又使用PEB。對于IDC建筑使用PFB設計，英國Bladeroom數(shù)據(jù)中心堪稱使用類集裝箱Containerized DC的經(jīng)典。該數(shù)據(jù)中心用標準集裝箱尺寸，但不是標準集裝箱的鋼構做成PFB，然后運現(xiàn)場后拼裝的模式，達到快速部署。更多詳情可以參看下列鏈接，http://v.youku.com/v_show/id_XNjI5MTEyMDky.html

而如果采用PEB做法，國內(nèi)其實已經(jīng)有不少案例，典型如遠大建筑和上海城建，商業(yè)大樓和住宅樓都可以使用PEB的做法加快整體建造速度。

遠大建筑的PEB設計可以參考下面鏈接：http://v.youku.com/v_show/id_XNjk5NDQyMjY0.html

國外也有不少PEB建筑，可以適應多層或單層建筑模型，單層結構設計跟Facebook的RDDC也比較類似：

[page]使用PEB鋼構設計，比傳統(tǒng)建筑設計提升是顯然的，主要體現(xiàn)在物料節(jié)省，部署速度更快，網(wǎng)絡上有很多相關比較PEB和傳統(tǒng)建筑的比較，可以參考下面鏈接：

http://theconstructor.org/structural-engg/pre-engineered-building-vs-conventional-building-comparison/7009/

圖15 使用外置AHU帶風管設計

根據(jù)Facebook工程師研究結果，采用RDDC模式，可以節(jié)省約一半的建筑材料和提升一倍建造部署時間(如圖16所示)。

圖16 RDDC模式帶來的好處

有人可能會問，F(xiàn)acebook在規(guī)劃RDDC的時候怎么能夠從概念推斷出物料的成本和部署時間會節(jié)省那么多?還是做出來的時候才得出?

當然不是做出來才驗證，答案在于Facebook規(guī)劃RDDC時候使用BIM設計。整個過程利用BIM的5D特性，可以非常精確模擬出整體交付速度和交付計劃、整體物料成本BOM，以及相應綠色節(jié)能分析等。關于BIM的介紹可以參閱以下百度百科鏈接：

http://baike.baidu.com/link?url=QEvi66ChoSDy07NBu6YNy7EsVMRqwO23GLFcwSgkG1WFzrhMAcBmKO01Ed_BAQ0yrOAFOMOBVnxXBpuTfzs4QK

附上兩個Lulea一期的BIM圖

圖17 Facebook Lulea數(shù)據(jù)中心一期BIM圖A

圖18 Facebook Lulea數(shù)據(jù)中心一期BIM圖B

據(jù)筆者國內(nèi)調(diào)研，暫時未發(fā)現(xiàn)有一個國內(nèi)數(shù)據(jù)中心使用BIM做整體建筑和機電設計、項目施工管理和設施運維等，所以從這點看，國內(nèi)外的數(shù)據(jù)中心設計水平和能力相差甚遠。關于Facebook在工具流程上如何規(guī)劃RDDC，筆者在RDDC可能的研發(fā)流程章節(jié)中會給出個人猜想觀點供讀者參考。

在電氣模塊布局上，F(xiàn)acebook采用Skid底座的預制電力模塊，即把相應的電力設備集成在Skid鋼架上，同時相關電氣線纜已經(jīng)預制和預連接，相關電氣模塊技術會在電氣系統(tǒng)章節(jié)介紹。

圖19 Facebook Lulea數(shù)據(jù)中心一期電氣模塊布局

寫到這里，大家應該大致理解Facebook模塊化、標準化、預制化的思路。但是依然有一個問題：數(shù)據(jù)中心不能全部在工廠集成好，然后整體打包運到現(xiàn)場，現(xiàn)場必然會有模塊之間的工程連接，如何保證不會出現(xiàn)模塊之間連接工程不會出現(xiàn)手工作坊一樣的人為錯誤呢?難道老外就比中國人好?

國外做法是通過BIM在設計層面盡可能做到所見即所得，通過標準化設計和產(chǎn)品化的手段做成不同系統(tǒng)模塊，整個IDC工程會盡可能拆分成很多標準模塊，這些模塊在工廠做預制并搭建好調(diào)試好，拆了之后運到現(xiàn)場拼裝就行。筆者總結為：工廠化的預制和施工、BIM標準化設計和管理，把施工現(xiàn)場變成汽車裝配流水線一樣，類似富士康生產(chǎn)蘋果手機的流程，達到快速標準作業(yè)。這是筆者對RDDC理念的理解，其實這也是貫穿無論谷歌、微軟、亞馬遜等IDC的建設理念。