數(shù)據(jù)中心里包含有大量的IT設備,運轉(zhuǎn)系統(tǒng)非常復雜,經(jīng)常會出現(xiàn)這樣那樣的故障,就算一些著名的互聯(lián)網(wǎng)巨頭的數(shù)據(jù)中心也無法幸免。當然,數(shù)據(jù)中心可以通過部署很多備份技術,保證在出現(xiàn)故障時不至于影響運行的業(yè)務。數(shù)據(jù)中心故障產(chǎn)生的原因多種多樣,絕大多數(shù)故障讓人很容易理解,也可以通過采取一些補救措施,避免日后再出現(xiàn),而有些數(shù)據(jù)中心故障產(chǎn)生的原因就非常怪異,讓人二丈和尚摸不到頭腦,故障的原因都有些無厘頭,本文就來講述幾例怪異的數(shù)據(jù)中心故障。聽到導致數(shù)據(jù)中心故障的這些原因,腦洞大開,只能感嘆數(shù)據(jù)中心故障防不勝防啊!
一聲巨響,數(shù)據(jù)中心應聲倒下
就在9月,一家羅馬尼亞銀行數(shù)據(jù)中心業(yè)務中斷了大約10個小時。數(shù)據(jù)中心在對消防系統(tǒng)進行測試時,打開了儲存有“煙烙盡”的鋼瓶,“煙烙盡”通過軟管和噴嘴均勻地噴灑在狹小空間,從而達到滅火功效。當氣體通過噴嘴釋放時,壓力過大,在釋放“煙烙盡”,最后發(fā)出了異常大的巨響,巨響超過了130分貝。這樣巨響引起了振動,結果聲音傳遞到存儲在數(shù)據(jù)中心硬盤的外殼,服務器和數(shù)據(jù)存儲設備都受到了影響,破壞了設備內(nèi)部部件。這導致銀行的信用卡交易、ATM業(yè)務活動、在線銀行、電子郵件和銀行的官方網(wǎng)站都癱瘓掉了。我們經(jīng)常抱怨數(shù)據(jù)中心機房內(nèi)的噪聲太大,對人來說太吵了,對里面的設備又何嘗不是,這些設備長期忍受各種設備運行產(chǎn)生噪聲的影響。實際上,這些設備本身對噪聲也是比較敏感,尤其是這種突然的巨響,很容易造成內(nèi)部電子元器件的失效,所以有必要在數(shù)據(jù)中心增加一些消聲設施,人長期處在嘈雜的環(huán)境中都會煩躁,電子設備也一樣,提供一個相對安靜的環(huán)境,有利于延長設備的使用壽命。
一輛SUV汽車引發(fā)的數(shù)據(jù)中心慘劇
2007年11月位于美國達拉斯的Rackspace公司數(shù)據(jù)中心遇到了一場無妄之災,故障使其業(yè)務在數(shù)小時內(nèi)陷入了癱瘓。一位大型四驅(qū)車司機,由于糖尿病病發(fā)而出現(xiàn)短暫昏迷,當時他正在開車,汽車一路向前直沖,并從丁字路口處撞向路邊外側的護堤。護提被撞擊后,沖向空中,并落在了Rackspace公司的數(shù)據(jù)中心建筑物上,恰好砸在了供電裝置上,一陣火光帶閃電之后,數(shù)據(jù)中心電力供應中斷了。此類極為罕見的外來因素所導致的停機事故,Rackspace公司為此次事故向客戶支付了350萬美元賠償金,同時還增加了客戶流失的風險。數(shù)據(jù)中心建筑物可抗擊八級地震,卻沒有抵住一輛SUV汽車的誤撞,確切地說還不是直接撞擊。數(shù)據(jù)中心有很多的內(nèi)外通道,這些管道也一定要保護好,具有一定的抗震、抗撞、防火能力,避免遇到這樣的意外故障。
颶風吹停了數(shù)據(jù)中心發(fā)電機
2012年10月位于美國紐約曼哈頓地區(qū)的一處數(shù)據(jù)中心整套供電系統(tǒng)失效,原因是肆虐一時的颶風桑迪襲擊了曼哈頓。在數(shù)據(jù)中心的十八層擺放有用于持續(xù)提供電力且不至于受到洪水影響的多臺備用發(fā)電機,但風暴來襲時直接灌滿了該數(shù)據(jù)中心建筑的地下室,并且摧毀了應急發(fā)電機的燃油泵送系統(tǒng),遭到海水浸泡的整套電路立刻失去了作用,備用發(fā)電系統(tǒng)失效,而十八層電力采用的是市電,當颶風來襲造成整個曼哈頓市電系統(tǒng)故障,數(shù)據(jù)中心主備供電均故障,造成數(shù)據(jù)中心斷電,所有應用系統(tǒng)無法運行。
太陽耀斑事件
在1989年太陽耀斑定向瞄準了加拿大魁北克水電電網(wǎng),導致電網(wǎng)電壓振蕩,造成跳閘保護設備啟用,幾乎造成東北地區(qū)電力協(xié)調(diào)委員會(NPCC)和中大西洋區(qū)議會(MAAC)崩潰。Public Service Gas & Electric旗下新澤西州的一個核電站,造成發(fā)電機升壓變壓器的永久性損壞,無法提供服務。雖然強烈的太陽耀斑/日冕物質(zhì)拋射比較罕見,但不可否認它對于數(shù)據(jù)中心和電網(wǎng)是一個毀滅性的災難。太陽耀斑是一種最劇烈的太陽活動,周期約為11年,通過高速度產(chǎn)生強磁場的過程中發(fā)出的帶電粒子,如果擊中地球,就會產(chǎn)生令人驚嘆的現(xiàn)象,同時肆虐電力系統(tǒng),如果擊中數(shù)據(jù)中心的供電系統(tǒng),數(shù)據(jù)中心一定吃不消了,這屬于小概率事件,但一旦發(fā)生就是致命的。早在1859年,曾經(jīng)發(fā)生過一次太陽耀斑故障,即所謂卡林頓事件,這次太陽耀斑讓全球的電報系統(tǒng)都失控。太陽耀斑拋射定期發(fā)生,如果從這些太陽系列活動沖擊數(shù)據(jù)中心磁場,數(shù)據(jù)中心可能會遇到大范圍的電涌和停電。
巨響、撞擊、颶風、太陽耀斑等都給數(shù)據(jù)中心帶來了災難,平時我們很少聽到這類故障,主要是這些故障發(fā)生的概率極低,甚至讓人覺得發(fā)生這些故障非常怪異。不過小概率并不等于不會發(fā)生。我們知道,按照發(fā)生概率來講,飛機是非常安全的一種交通工具,但是每年還是會發(fā)生墜機事故,和每年數(shù)千萬次的航班數(shù)量相比,發(fā)生概率不到萬分之一,可一旦發(fā)生就是造成嚴重的人員傷亡,這讓我們不得不對這些小概率事件非常謹慎。一旦這樣的故障發(fā)生到某一個數(shù)據(jù)中心身上,也許這個數(shù)據(jù)中心就會從地球上消失。這些導致故障的根源很多時候還是可以通過優(yōu)化加以避免,比如:對于撞擊,我們可以對數(shù)據(jù)中心外圍和建筑組樓頂進行加固,避免撞擊給數(shù)據(jù)中心帶來傷害;對于巨響,我們可以在數(shù)據(jù)中心機房外部增加消聲裝置,增加建筑物墻體厚度,這樣不僅可以防止噪聲進入數(shù)據(jù)中心機房內(nèi)部,對設備造成傷害,還可以避免內(nèi)部設備運行產(chǎn)生的噪聲向外傳遞,以免擾民。所以,針對這些怪異的數(shù)據(jù)中心故障原因,通過采用一些常規(guī)的防護措施,就可以避免。