數(shù)據(jù)中心,這個(gè)與普通的互聯(lián)網(wǎng)用戶距離遙遠(yuǎn)的神秘所在,卻是互聯(lián)網(wǎng)業(yè)務(wù)的神經(jīng)中樞,為互聯(lián)網(wǎng)企業(yè)的各項(xiàng)應(yīng)用提供源源不絕的動(dòng)力。在越來越熱門的云計(jì)算和大數(shù)據(jù)背后,數(shù)據(jù)中心的價(jià)值越來越得到人們的認(rèn)同和重視。數(shù)據(jù)中心的布局和運(yùn)營效率已經(jīng)成為互聯(lián)網(wǎng)企業(yè)重要的核心競(jìng)爭(zhēng)力之一。
作為國內(nèi)知名的互聯(lián)網(wǎng)企業(yè),騰訊伴隨著數(shù)據(jù)中心的不斷建設(shè)而發(fā)展壯大。從2006年開始在深圳租賃樓房自行建設(shè)數(shù)據(jù)中心,到2007年在天津自建超大規(guī)模數(shù)據(jù)中心,并開始在全國乃至世界各地快速布局,到目前為止,騰訊已經(jīng)在全國13個(gè)城市擁有超過58個(gè)數(shù)據(jù)中心,里面的數(shù)十萬臺(tái)服務(wù)器為騰訊的各項(xiàng)業(yè)務(wù)提供強(qiáng)有力的支撐。
9月10日,騰訊在北京舉辦了一場(chǎng)主題為“開放創(chuàng)新,合作共贏”的數(shù)據(jù)中心分享日活動(dòng),并在第二天帶領(lǐng)與會(huì)代表奔赴其自建的天津數(shù)據(jù)中心進(jìn)行參觀、交流。參與此次系列活動(dòng)的都是數(shù)據(jù)中心領(lǐng)域的主管領(lǐng)導(dǎo)和資深專家:有的來自知名的互聯(lián)網(wǎng)公司,有的來自國內(nèi)外的電信運(yùn)營商,有的來自服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等設(shè)備廠商。據(jù)悉,這是騰訊第一次以如此公開的形式帶領(lǐng)大家近距離接觸騰訊的數(shù)據(jù)中心。騰訊 讓大家更加清晰地了解先進(jìn)的騰訊模塊化數(shù)據(jù)中心解決方案——TMDC。
騰訊天津數(shù)據(jù)中心開門迎客
騰訊公司副總裁別洪濤告訴記者,作為互聯(lián)網(wǎng)企業(yè),騰訊因?yàn)闃I(yè)務(wù)的發(fā)展需求較早對(duì)數(shù)據(jù)中心提出訴求,因此數(shù)據(jù)中心建設(shè)起步也相對(duì)較早。差不多從2006年開始騰訊就系統(tǒng)地摸索,并快速更新自己的數(shù)據(jù)中心技術(shù)。位于天津經(jīng)濟(jì)技術(shù)開發(fā)區(qū)的騰訊天津數(shù)據(jù)中心,是騰訊于2007年啟動(dòng)自建的第一個(gè)超大規(guī)模數(shù)據(jù)中心,也是騰訊迄今為止自主規(guī)劃、設(shè)計(jì)和運(yùn)營的最大的數(shù)據(jù)中心。該中心共有4棟建筑,總建筑面積達(dá)8萬平方米,滿載可容納20萬臺(tái)服務(wù)器。它也是目前亞洲最大的數(shù)據(jù)中心之一。
在進(jìn)入騰訊天津數(shù)據(jù)中心大樓前,筆者按照要求關(guān)注了“騰訊數(shù)據(jù)中心”的微信公眾號(hào)(騰訊每周通過該公眾號(hào)平臺(tái)分享其最新的數(shù)據(jù)中心技術(shù)和運(yùn)營經(jīng)驗(yàn))。而此前,騰訊方面已經(jīng)對(duì)參觀者的申請(qǐng)資料進(jìn)行了內(nèi)部審核。該公眾號(hào)給參觀者發(fā)送進(jìn)入騰訊天津數(shù)據(jù)中心的電子門票。保安人員通過掃描二維碼門票即可完成授權(quán)進(jìn)入的程序,省去了以前用本子登記的麻煩。(想了解騰訊創(chuàng)業(yè)史及微信的前世今生,請(qǐng)閱讀姜洪軍的新書《中國互聯(lián)網(wǎng)商業(yè)英雄列傳》)。
數(shù)據(jù)中心的一樓是基礎(chǔ)設(shè)施層,這里有規(guī)模龐大的水冷系統(tǒng)。騰訊天津數(shù)據(jù)中心高級(jí)經(jīng)理閆昆介紹說,當(dāng)時(shí)大家所處的三號(hào)樓可承載10萬臺(tái)服務(wù)器,用電負(fù)荷約等于8萬個(gè)城市家庭的總和。這么大的用電負(fù)荷,需要一套龐大的冷卻系統(tǒng)來支撐。為了方便管理,機(jī)房中管道都用顏色標(biāo)示:藍(lán)色的代表供水管,黃色的代表回水管。環(huán)狀管道上還有幾百個(gè)大大小小的閥門。當(dāng)管道上任何一個(gè)位置出現(xiàn)破裂或其他故障時(shí),管理人員就可以通過關(guān)閉附近的閥門來隔離故障點(diǎn),將故障對(duì)整個(gè)水系統(tǒng)運(yùn)行的影響降到最低。這是一種高可用性設(shè)計(jì)。
據(jù)悉,當(dāng)秋冬季來臨,外界氣溫降低時(shí),運(yùn)營團(tuán)隊(duì)就會(huì)關(guān)閉最耗電的水冷機(jī)組,通過板式換熱器和樓頂?shù)睦鋮s塔,利用室外冷空氣對(duì)水降溫,達(dá)到節(jié)能的目的。而所有這些轉(zhuǎn)換和控制都是通過自動(dòng)控制系統(tǒng)來實(shí)現(xiàn)的。天津運(yùn)營團(tuán)隊(duì)的主要任務(wù)就是通過反復(fù)的實(shí)踐,摸索出最優(yōu)的變頻調(diào)節(jié)參數(shù),以及設(shè)備輪巡和故障切換的控制邏輯,以達(dá)到最優(yōu)的能效,節(jié)約運(yùn)營成本。
數(shù)據(jù)中心三樓是供配電系統(tǒng)機(jī)房。在騰訊第三代數(shù)據(jù)中心中,服務(wù)器供電采用了市電直供加上直流系統(tǒng)備份。和傳統(tǒng)的雙路交流UPS(不間斷電源)供電技術(shù)相比,這種創(chuàng)新的供電方式大大簡(jiǎn)化供電的結(jié)構(gòu),提升服務(wù)器用電的穩(wěn)定性和用電效率,初期投資成本也較低。在實(shí)際運(yùn)營過程中,這種直流UPS技術(shù)節(jié)能省電效果顯著。值得一提的是,這種新型的直流UPS技術(shù)運(yùn)維方便,在降低工作人員的技術(shù)門檻的同時(shí),保障了運(yùn)行中的設(shè)備和人員的安全,而傳統(tǒng)交流UPS是一種體型龐大、操作復(fù)雜的供電設(shè)備,還存在發(fā)生惡性事故的隱患。
微模塊就是一個(gè)微型數(shù)據(jù)中心
微模塊解決方案是騰訊第三代數(shù)據(jù)中心TMDC的核心。按照騰訊的設(shè)計(jì),每個(gè)微模塊都包含有IT系統(tǒng)、配電系統(tǒng)、空調(diào)系統(tǒng)、消防系統(tǒng)和監(jiān)控系統(tǒng)等,可以簡(jiǎn)單地認(rèn)為微模塊就是一個(gè)微型數(shù)據(jù)中心。
這樣的設(shè)計(jì)好處顯而易見。微模塊的所有組件都在工廠完成預(yù)制和測(cè)試工作,到數(shù)據(jù)中心現(xiàn)場(chǎng),工作人員像搭裝積木一樣經(jīng)過簡(jiǎn)單拼裝后,系統(tǒng)即可投入使用。因此,微模塊解決了傳統(tǒng)數(shù)據(jù)中心建設(shè)周期冗長、配合復(fù)雜的問題,可快速、靈活地部署。這個(gè)特點(diǎn)使TMDC更容易安排分期建設(shè),有效保護(hù)投資。當(dāng)數(shù)據(jù)中心“退役”時(shí),工作人員還可以很方便地將那些還可用的微模塊拆卸下來,在其他數(shù)據(jù)中心組裝后繼續(xù)使用。
在騰訊天津數(shù)據(jù)中心,筆者參觀了一個(gè)典型的微模塊機(jī)房。這個(gè)機(jī)房由12個(gè)微模塊組成,每個(gè)微模塊占地僅20多平方米,卻有12個(gè)服務(wù)器機(jī)架,每個(gè)機(jī)架上密密麻麻地排列著80臺(tái)服務(wù)器(1U上有兩臺(tái)服務(wù)器)。也就是說,在一個(gè)很小的空間內(nèi),每個(gè)微模塊竟然容納了960臺(tái)服務(wù)器。
每個(gè)微模塊的外部都掛著一塊液晶屏幕,運(yùn)維人員可清晰地查詢微模塊的各種運(yùn)行狀況。通過名為“星云”的統(tǒng)一自動(dòng)化運(yùn)營管理平臺(tái),運(yùn)維人員還可遠(yuǎn)程監(jiān)控每個(gè)微模塊。閆昆介紹,支持20萬臺(tái)服務(wù)器如此大規(guī)模的數(shù)據(jù)中心,騰訊的運(yùn)營團(tuán)隊(duì)卻只有15人。
據(jù)悉,TMDC是騰訊自己研發(fā)的、全球首創(chuàng)的數(shù)據(jù)中心技術(shù),已申請(qǐng)近20項(xiàng)專利。TMDC從2008年開始研發(fā),經(jīng)過實(shí)驗(yàn)室階段、小批量試點(diǎn)階段后,從去年開始在全國范圍內(nèi)同步推廣。除了應(yīng)用在騰訊自建的寶安、天津數(shù)據(jù)中心外,TMDC也得到了運(yùn)營商的全面肯定。目前騰訊已經(jīng)和深圳聯(lián)通、深圳電信、上海電信等在大型數(shù)據(jù)中心合作推廣。在開放日當(dāng)天,也是騰訊第一次向外界正式發(fā)布和展示自己的TMDC。
開放,讓后來者少走彎路
涉足數(shù)據(jù)中心領(lǐng)域至今,騰訊的數(shù)據(jù)中心技術(shù)已經(jīng)經(jīng)歷了三代。騰訊IDC平臺(tái)部高級(jí)總監(jiān)楊曉偉介紹說,最初采用傳統(tǒng)的電信解決方案,數(shù)據(jù)中心PUE(能效比)僅為1.6左右;后來采用自然冷卻技術(shù)的第二代數(shù)據(jù)中心,將PUE降低到了1.4。到2012年以后,隨著技術(shù)積淀日益深厚,騰訊自行研發(fā)了基于微模塊的更為節(jié)能的第三代數(shù)據(jù)中心解決方案——TMDC。
騰訊IDC平臺(tái)部技術(shù)發(fā)展中心副總監(jiān)朱華告訴記者,騰訊正在嘗試應(yīng)用很多最新技術(shù),如用三聯(lián)供技術(shù)來實(shí)現(xiàn)分布式供電、全自然風(fēng)的冷卻方式、提高機(jī)房溫度、冷卻系統(tǒng)去水化等。除此之外,在數(shù)據(jù)中心的自動(dòng)化系統(tǒng)研發(fā)方面,騰訊也不吝成本,開始研發(fā)基于SDI(軟件定義的基礎(chǔ)架構(gòu))的控制系統(tǒng),并將逐步向業(yè)界推出數(shù)據(jù)中心監(jiān)管控系統(tǒng)的南向和北向標(biāo)準(zhǔn)。
別洪濤強(qiáng)調(diào),在數(shù)據(jù)中心的發(fā)展過程中,騰訊一直秉承開放的心態(tài),和大家分享自己的技術(shù)和經(jīng)驗(yàn)。騰訊的技術(shù)人員每年都會(huì)在很多行業(yè)峰會(huì)、技術(shù)論壇上宣講騰訊最新的技術(shù),同時(shí)積極參與類似“天蝎”這樣的開放項(xiàng)目,參與開放數(shù)據(jù)中心聯(lián)盟等開源組織,在其中貢獻(xiàn)自己的一份力量。“當(dāng)然,以前這些實(shí)戰(zhàn)經(jīng)驗(yàn)的分享還比較零散,不成體系。到今天,騰訊在數(shù)據(jù)中心領(lǐng)域開始有了一些成系統(tǒng)的經(jīng)驗(yàn),包括從第一代到第三代數(shù)據(jù)中心的思考,我們希望把騰訊摸索出來的經(jīng)驗(yàn)更多地分享給業(yè)界,可以讓后來者少走一些彎路。” 別洪濤透露,騰訊目前正積極與相關(guān)政府部門共同推動(dòng)數(shù)據(jù)中心運(yùn)營標(biāo)準(zhǔn)化的制定。他希望能有更多的運(yùn)營商、廠商參與其中,共同推動(dòng)我國數(shù)據(jù)中心生態(tài)圈的完善。