作者注：該故事基于真實事件。每個細節都來自我的學生和我獲得的一手事實。

凌晨三點，我的手機收到一封告警。自從我們安裝了新的數據中心基礎設施管理系統后，每晚我都能收到十倍以上的告警，但都不是很嚴重的問題。但這次不同，我們主數據中心的溫度雖然都在ASHRAE的允許溫度范圍內——但高于公司運營限制，而且還在不斷上升。

財務部門在有人確定既定標準與設計之前就決定了我們新數據中心的預算，我們不得不經常削減其中的災難恢復策略。我曾堅持要求額外的空調以及模塊化的不間斷電源系統(UPS)冗余。除了這些，設計師認定我們在Uptime Tier III級別標準，但我們也沒有理由去花錢來獲得認證。

我通知了保安。他們也收到了相同的告警，但沒有一個人能夠定位問題。在叫醒了設施經理，他表示會安排人員到場后，我穿好衣服并前往設施。

壓力與無力感

一小時后，我走進那個感覺像沙哈拉沙漠的數據中心。燈光到處閃爍，服務器所有的風扇全速運轉，我們10臺空調有2臺出現了故障。一些服務器已經自動關機了。我突然意識到本該落實到位的災難恢復策略已經開始崩潰。

數據中心基礎設施管理顯示的內容令人困擾，而且圖形用戶界面并沒有任何意義，用戶登陸后的首菜單后，沒有看到問題。一大串數據顯示溫度已經持續升高了數小時。為什么我沒有更早得到告警?我發現一張看起來像天書的電氣圖，但我知道這個可能是UPS系統。我知道從那里可以找到我們服務器機柜的面板，但并不知道具體的控制機制。墻上還有一些電器面板，但標簽沒有任何意義。“LBTA-3”可能是任何東西，而且面板門被鎖住了。

設施與IT不匹配，數據中心就崩潰了——特別是在緊急情況下。解決沖突的一種方案是讓某個IT團隊成員也對設施管理負責。另一種方法是簡化兩部門之間的溝通。

設施工作人員趕到現場后，他證實了我已知道的事實：沒有足夠能源來支持我們所有設備。他檢查了所能找到的斷路器，沒有發現任何錯誤，但在沒有電工的情況下我們無法進一步排查。這時候只好繼續打電話給設施經理，接著等電工到達。

一臺接一臺，我關閉了服務器，避免災難性崩潰發生。不久電工到了，而且他知道電路板在哪里——那扇我們無法進入，只有靠他的特殊鑰匙才能打開的門后面。他開啟了大門，里面很涼快。這間同樣是UPS室，而里面只有一臺空調在運轉。單臺空調意味著我們的冗余UPS被安置在非冗余冷卻環境中。

事情升溫

在電工重置了跳閘的主斷路器后，空調開始恢復運作——但好景不長。火苗從電箱面板的小裂縫處冒出。我們的吸氣式煙霧探測系統如果及時通知我們事情嚴重了，我們就能在主消防系統釋放滅火氣體之前解決問題。煙霧迅速彌漫整個數據中心，伴隨著震耳欲聾的告警聲。但在沒有任何預警的情況下，主系統已經開始氣體釋放倒計時。由于數據中心內沒有著火，我按下了重載按鈕，但只有倒計時被重置了。消防員出現在門口。只有空調電源出現問題，不是UPS或服務器電源，但他們立刻到達了大紅色的EPO(緊急電源關閉)按鈕處。我朝他們大喊，但他們還是按下去了。幾秒鐘后，滅火氣體釋放了。電工趕往地下室切斷機房的主供電，而消防員正在往燃燒的配電箱中澆灌泡沫。

在DR站點遭到冷遇

當外海辦事處同事通過越洋電話詢問我發生了何事，為什么他們無法訪問公司電話時，我向他們保證，根據我們的災難恢復策略，需求會被轉發到災難恢復站點。然而，雖然我們已經簽約了站點，但我們實際并沒有進行任何傳輸操作，就是我們還沒有轉移IT基礎設施——無論是物理的還是虛擬的——到DR站點。當我打電話給DR供應商宣布緊急狀況時，他們告訴我站點沒有熱維護，也無法隨時上線。我們一直都在做日常數據備份到災難恢復中心，但需要時間讓我們進行用戶轉移操作。而且我們需要自己的員工到場才能進行。

當數據中心災難發生，必須與組織的其余部門進行通信。通過創建通信樹計劃來避免混亂，也可以通過自動通知系統來告知數據中心災難。

在電氣室，火已經撲滅，電源被關閉，我們需要靠應急燈照明才能工作。電工在移除交換板的面板后，發現總線已經燒毀，把備用總線也燒毀了。我知道現在唯一的選擇就是讓IT服務在DR站點恢復運轉，并重新評估我們的災難恢復計劃。

研究表明，75%的數據中心故障是人為錯誤，這意味著我們可以從他人的經驗中學習，包括上述事件。