最近幾個星期以來，我們已經(jīng)陸續(xù)聽到了不少關(guān)于數(shù)據(jù)中心中斷事故影響到一些具有較高知名度的美國企業(yè)的報道，包括華爾街日報、紐約證券交易所和美國聯(lián)合航空公司在一周內(nèi)均受到不同程度的影響。盡管想要百分百的防止每一次停機(jī)中斷事件的發(fā)生是不可能的，但這些被媒體高度宣傳的問題可能會花費(fèi)大量的資金成本，并會顯著影響到客戶如何看待一家企業(yè)，進(jìn)而影響到企業(yè)形象和聲譽(yù)。為此，我們特地采訪了業(yè)界的專家們，向他們咨詢了一系列的問題：包括企業(yè)應(yīng)該做些什么工作，以便能夠維持高水平的正常運(yùn)行時間?導(dǎo)致停機(jī)中斷的原因都包括了哪些常見的錯誤?以及客戶對于數(shù)據(jù)中心的安全性和彈性的平均期望如何?或者說偶爾的停機(jī)中斷事故是企業(yè)正常運(yùn)維的現(xiàn)實(shí)?
密爾沃基地區(qū)技術(shù)學(xué)院Brian Kirsch
可用性和其他一切之間的平衡是IT的基石之一。我們都希望我們的系統(tǒng)在我們需要時均能夠保持正常運(yùn)行，為我們所用。而當(dāng)您需要在系統(tǒng)的可用性與需要做哪些工作以獲得這種可用性之間進(jìn)行平衡時，問題就出現(xiàn)了。您所需關(guān)注的問題不僅僅是簡單的只是成本方面的問題，其復(fù)雜性和測試才是促使一切協(xié)同工作的關(guān)鍵。僅僅由某一款單一的硬件或軟件產(chǎn)品就能夠提供可用能力的理念在今天已經(jīng)不存在了。雖然我們今天所使用的備份和災(zāi)難恢復(fù)產(chǎn)品已經(jīng)變得更加廣泛且有效，但相應(yīng)的應(yīng)用程序也已經(jīng)變得更加復(fù)雜了。
這種應(yīng)用程序及其可用性之間的不斷競爭，會在當(dāng)企業(yè)所使用的災(zāi)難恢復(fù)產(chǎn)品無法跟上的應(yīng)用程序的需求和設(shè)計時，造成大范圍的停機(jī)中斷事故。
然而，硬件和軟件也僅僅只是停機(jī)中斷事故難題的一小部分。許多停機(jī)中斷的發(fā)生是由于系統(tǒng)故障和變化所造成的。我們通過設(shè)計以防止發(fā)生故障失敗;我們的安全系統(tǒng)防止未經(jīng)授權(quán)的變化。然而，所有這一切在前端的努力都不能百分百的防止每一次停機(jī)中斷的發(fā)生。我們?nèi)砸e極探索和尋找處理災(zāi)難恢復(fù)和停機(jī)中斷的新方法。讓我們秉承著企業(yè)必將發(fā)生停機(jī)中斷，而不是試圖簡單地阻止他們的理念來設(shè)計我們的系統(tǒng)。積極的面對故障和運(yùn)行失敗能夠給我們真正的應(yīng)用程序彈性，因?yàn)楣收媳Ｗo(hù)不再僅僅是表面的事情了。然后，我們可以測試并證明我們有能力處理故障失敗。
在這方面，沒有比Netflix及其Chaos Monkey工程團(tuán)隊(duì)更明顯的了。Netflix面臨大規(guī)模的亞馬遜EC2云重新啟動，同時還需要保持其在線服務(wù)的正常運(yùn)轉(zhuǎn)。對于許多公司來說，EC2云的重啟會為他們帶來一些他們認(rèn)為永遠(yuǎn)不會看到且很少有針對性的進(jìn)行計劃以防止出現(xiàn)停機(jī)中斷的東西。另一方面，Netflix及其獨(dú)特命名的Chaos Monkey工程團(tuán)隊(duì)則有一項(xiàng)計劃。在Netflix，Chaos Monkey的作用是定期反復(fù)針對故障失敗進(jìn)行測試鍛煉。通過不斷的測試、和在問題造成大規(guī)模停機(jī)中斷事故之前對其進(jìn)行修正，Netflix公司已經(jīng)創(chuàng)建了一項(xiàng)專門處理故障運(yùn)行失敗的服務(wù)設(shè)計，來確保可用性。
LogicNow公司戴夫·索貝爾
對于像紐約證券交易所、華爾街日報和美國航空公司這樣的企業(yè)和機(jī)構(gòu)而言，出現(xiàn)任何形式的停機(jī)中斷事故幾乎都可以說是一種恥辱。停機(jī)中斷事故所造成的成本損失可能是極其昂貴的，而鑒于計算資源又相對低廉，先進(jìn)的規(guī)劃則可以確保將停機(jī)中斷事故發(fā)生的幾率降低到最低限度。對于那些有關(guān)鍵需求的企業(yè)而言，他們現(xiàn)在可以很容易地在云中建立備份系統(tǒng)，而且只有在緊急情況下使用。例如，微軟的Windows Azure，僅針對活躍計算負(fù)載收取費(fèi)用，這意味著整個備份網(wǎng)絡(luò)可以在冷待機(jī)等待處理問題。熱備份也可以設(shè)置最小的使用水平，確保為故障轉(zhuǎn)移做好準(zhǔn)備。監(jiān)控和管理軟件則應(yīng)該始終被使用，繼續(xù)獲得更先進(jìn)的預(yù)測分析，以預(yù)測分析可能的停機(jī)事故。
但是，溝通是緩解停機(jī)中斷事故影響的最重要的部分。對于一名因美國聯(lián)合航空公司發(fā)生停機(jī)中斷事故而被滯留的乘客來說，最令人沮喪的無疑是缺乏透明有效的信息。企業(yè)不得主動不承認(rèn)相關(guān)問題，然后再根據(jù)承諾進(jìn)行交付。在社交媒體保持沉默和員工之間缺乏信息溝通可能是造成客戶服務(wù)體驗(yàn)最糟糕的原因之一。
Volanto公司吉姆·奧賴?yán)?/strong>
安全系統(tǒng)怎么會發(fā)生運(yùn)行失敗?這看起來似乎是一種矛盾，但對于美國聯(lián)合航空公司、紐約證券交易所和其他企業(yè)而言，最近都紛紛出現(xiàn)了狀況。他們的IT基礎(chǔ)設(shè)施到底有什么問題?
不斷增強(qiáng)的復(fù)雜性肯定是問題原因的一部分。通常，企業(yè)已經(jīng)有一些被修補(bǔ)和擴(kuò)展過多次的舊系統(tǒng)。這導(dǎo)致了硬件和軟件的漏洞。美國聯(lián)合航空公司的問題則要?dú)w咎于一個路由器的運(yùn)行失敗，但這有引出了一個高度冗余的系統(tǒng)如何會有一個單點(diǎn)故障的問題。
當(dāng)然，通信問題并不是美國航空公司所獨(dú)有。云計算巨頭亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)在當(dāng)一款路由器的軟件被錯誤的更新時，也失去了幾個區(qū)。這樣的故障失敗往往是由糟糕的操作程序，缺乏制衡的配置或糟糕的安裝所造成的。
像AWS一樣，在混亂的紐約證券交易所發(fā)生停機(jī)中斷，起因于一個糟糕的軟件更新——在這種情況下，“匹配引擎”將連接買賣交易指令。
盡管硬件或軟件方面的原因已倍受指責(zé)，但所有這些問題的真正的罪魁禍?zhǔn)资侨藶殄e誤。在高度進(jìn)化的系統(tǒng)中，故障是可以預(yù)料的，管理員必須進(jìn)行相應(yīng)的改變，以處理不同的平臺和應(yīng)用程序的方法。糟糕的網(wǎng)絡(luò)拓?fù)?，未?jīng)測試的更新，更新被誤用都是可以避免的錯誤?，F(xiàn)在的問題是如何避免它們，同時也不會產(chǎn)生其他惡果。
自動化操作是解決更新問題的答案。任何使用Windows的人都熟悉其升級方法。有時它是在后臺自動進(jìn)行的，有時也需要用戶回答一些問題，但大部分的工作和任何重新配置的新代碼都是由軟件處理的。
另一方面，Linux在最好的傳統(tǒng)命令行界面，通常需要系統(tǒng)管理員輸入驚人的速率來執(zhí)行更新。其腳本被認(rèn)為是最先進(jìn)的。不過，腳本總是需要調(diào)整才能正常工作。
高水平的人工交互系統(tǒng)本身故障頻發(fā)，AWS和紐約證券交易所的事件是典型的結(jié)果。聯(lián)合航空公司則有著不同的問題。顯然是一個單一的故障點(diǎn)造成的。防止這種故障不是研究火箭般的高精尖科學(xué)。僅僅只需對路由結(jié)構(gòu)進(jìn)行人工審查應(yīng)該就能夠確定一個路由器可以使系統(tǒng)癱瘓的問題的癥所在。坦白說，當(dāng)應(yīng)用程序套件的拓?fù)浣Y(jié)構(gòu)和底層平臺總是在不斷變化時，人工檢查是不容易的。
一些軟件將能夠在系統(tǒng)中檢測問題點(diǎn)時發(fā)揮其價值。企業(yè)傾向于通過連續(xù)性軟件解決配置問題。大數(shù)據(jù)分析的方法可能會增加方法的復(fù)雜性。
即便如此，糟糕的應(yīng)用程序設(shè)計，特別是彈性較小的傳統(tǒng)遺留系統(tǒng)仍然是一個問題，將繼續(xù)困擾我們。解決這一類問題的答案是“沙箱測試”和“更嚴(yán)格的測試”。
無停機(jī)中斷故障的數(shù)據(jù)中心究竟是否能夠存在?答案是，我們距離實(shí)現(xiàn)這一理想還很遠(yuǎn)，但我們可以做得更好。
京公網(wǎng)安備 11010502049343號