電源故障是導致數據中心中斷的常見原因,但它們并不是唯一的罪魁禍首。隨著企業的計算環境變得越來越復雜,數據中心的IT系統故障和網絡錯誤導致更多的意外停機。
Uptime Institute一直在研究媒體報道的數據中心中斷事件,以追蹤導致意外停機的原因。在過去三年中,它已經從傳統媒體或社交媒體上報道的162次中斷事件中篩選了一些信息。在此期間,可用數據穩步攀升。研究人員收集了2016年27次停機、2017年57次停機和2018年78次停機的數據。
“中斷事件發生得越來越頻繁。”Uptime Institute的研究執行主任Andy Lawrence表示,Uptime Institute主要的業務是提供彈性服務,建立和運行數據中心的建議,以及認證服務。
Lawrence在該組織發布研究結果之后表示,分布在世界各地的數據中心幾乎每天都會發生重大停機,這并不一定意味著停電次數急劇增加,但停機時間越來越受到關注,“我們很清楚,停電中斷的影響肯定會增加。”他說。
在Uptime Institute的研究中有一個重要發現:電源與整體故障的關聯性較小,而網絡和IT系統的關聯性較大。這種轉變的一個原因是,電力系統的運行比過去更加可靠,內部部署數據中心電力故障的數量越來越少。
Uptime Institute首席技術官Chris Brown說,“在過去的20年里,科技行業一直致力于如何設計電力系統,使IT資產能夠繼續運行,即使電力系統中發生故障或中斷。IT設備采用2N配電系統使得IT系統能夠通過一系列單一事件繼續運行。”
同時,日益復雜的IT環境導致更多的IT和網絡相關問題。“數據現在分布在多個地方,對網絡有一些重要的依賴關系,例如應用程序和架構的方式以及數據庫復制的方式。這是一個非常復雜的系統,如今干擾該系統的可能性比過去幾年要少。”Uptime Institute負責IT優化和戰略的副總裁Todd Traver說。
評估數據中心中斷的嚴重性
為了區分可能導致業務崩潰的中斷和只是造成不便的中斷,Uptime Institute對數據中心的規模進行評估。Lawrence說,評級系統允許研究人員了解其中斷模式如何隨時間變化。Uptime Institute的數據中心中斷規模有五個等級:
•1級是可忽略不計的停機中斷。其中斷是可記錄的,但對服務的影響很小或沒有明顯影響,也沒有服務中斷。
•2級的特點是服務中斷影響很小。即使發生服務中斷,但對用戶、客戶或聲譽的影響微乎其微。
•3級是業務重要的服務中斷。它涉及客戶或用戶服務中斷,主要是范圍、持續時間或效果有限。財務影響很小甚至沒有影響,會產生一些聲譽或合規性影響。
•第4級是嚴重的業務或服務中斷。涉及服務和/或操作的中斷。其后果包括一些財務損失、違規行為、聲譽損害和可能的安全問題。這可能造成客戶損失。
•5級是關鍵業務或任務關鍵中斷,涉及服務和/或運營的重大和破壞性中斷。可能存在巨大的財務損失、安全問題、合規性違規、客戶損失和聲譽受損。
Uptime Institute研究了三年內所有公開報告的數據中心中斷(1至5級)時,發現IT系統和網絡問題超過了電源成為主要原因(如圖所示)。
網絡成為中斷的主要原因
當逐年比較數據中心中斷的原因時,這種趨勢尤其明顯。2017年,電力是28%中斷的罪魁禍首。2018年,只有11%的電力中斷被認為是主要原因。2017年IT系統是32%中斷的主要原因,2018年達到35%。網絡中斷上漲很快:2017年的中斷有19%歸咎于網絡,而2018年則為32%。
Traver在談到2018年中斷數量快速上升的原因時說,“網絡中斷的迅速增長是中斷大幅上升的原因。這不是通過一個或兩個站點連接,而是通過三個或四個站點或更多站點連接。網絡在IT彈性方面發揮著越來越大的作用。”
此外,隨著越來越多的IT資源被移交給服務提供商,并且不再受使用這些資源的組織的直接控制,這就增加了管理和操作的復雜性。
“2018年的三分之二的中斷與網絡和IT有關。這是與過去幾年相比的巨大變化。”Traver說。
深入了解數據中心停機時間
Uptime Institute的研究深入探討了數據中心中斷的具體原因。在網絡方面,其中斷的常見原因包括:
•光纖在數據中心外部切斷,路由選擇不足。
•主要交換機間歇性故障,未部署輔助路由器。
•沒有備份的主要交換機故障。
•維護期間的流量配置不正確。
•路由器和軟件定義的網絡配置錯誤。
•非備份單個組件(如交換機和路由器)斷電。
Traver表示,錯誤配置的路由器和軟件定義的網絡是常見的網絡問題。他們應該是通過測試檢測出來。
Traver說,“當涉及到光纖切斷時,一些公司往往不知道自己有一個單一的故障點。他們可能有兩個獨立的供應商,但他們不知道,光纖是在同一條溝槽中鋪設的。這些公司沒有做適當的盡職調查來確定這一點。”
當IT成為罪魁禍首時,列舉的一些原因包括:
•管理不善的升級,軟件級別的測試不充分。
•大型磁盤驅動器或存儲區域網絡的故障和后續數據損壞。這可能是由硬件故障引起的,由于配置或編程錯誤而加劇這種情況。
•負載平衡或流量管理系統中的同步失敗或編程錯誤。
•錯誤編程的故障/同步或災難恢復系統。
•非備份單個組件(如服務器或大型磁盤驅動器)斷電。
Lawrence在談到負載均衡/流量管理問題表示,當組織嘗試更廣泛地分發IT資源時,可能會出現編程錯誤和同步問題。他說,“減少對單一網站的依賴通常是更廣泛戰略的一部分,就像擠壓氣球一樣,問題突然出現在其他地方。”
Traver補充說,“當組織沒有真正規劃所有平臺的應用程序和數據,或者他們沒有經常測試它們時,就會出現問題。”
當電力成為罪魁禍首時,導致停電的一些主要原因包括:
•雷擊,導致浪涌和斷電。備份軟件/配置失敗。
•轉換開關出現間歇性故障,導致無法啟動發電機或轉移到第二個數據中心。
•UPS故障和無法轉移到二級系統。
•操作人員錯誤操作,關閉電源或配置錯誤。
•市電中斷以及發電機或UPS的后續故障。
•由電涌引起的IT設備損壞。
•IT設備未配備雙電源供應,無法切換到二級供電。
Brown說,在與電力有關的中斷中,都是常見的問題。他說,“數據中心工程師一直在努力解決這些問題,例如如何通過設計緩解問題。”
Traver表示,“總的來說,組織需要更加關注數據中心的彈性,了解系統是如何設計的。并且也知道它是如何失敗的,并為失敗做好計劃。這是我認為缺失的部分。”他說。
Lawrence 說,“設備越來越好,管理越來越好,經驗越來越豐富。數據中心正在成為一個更成熟的行業。但即便如此,停機中斷仍然是一個非常嚴重和付出慘重代價的問題。”