最近互聯(lián)網(wǎng)故障是一件接著一件，僅在5月就發(fā)生了多起。網(wǎng)易的骨干網(wǎng)遇到攻擊導(dǎo)致其游戲業(yè)務(wù)受到嚴(yán)重影響，由于傳輸光纖被挖斷導(dǎo)致支付寶中斷2小時(shí)，緊接著攜程網(wǎng)由于人員誤操作導(dǎo)致網(wǎng)絡(luò)中斷近12小時(shí)。從這些事件中不難看出，所有故障的產(chǎn)生都來自人為或者外部環(huán)境因素所導(dǎo)致，而不是數(shù)據(jù)中心設(shè)備本身。根據(jù)以往的統(tǒng)計(jì)數(shù)據(jù)也可以看出，數(shù)據(jù)中心發(fā)生的故障原因中人為因素占了80%。很多故障都是可以通過加強(qiáng)對人的管理而避免的，而并不是技術(shù)本身，導(dǎo)致數(shù)據(jù)中心故障的因素絕大部分來自外部而非自身，所以要保證數(shù)據(jù)中心穩(wěn)定不間斷運(yùn)行，必須對其生存的外部環(huán)境進(jìn)行各種可能的故障預(yù)測，以便考驗(yàn)數(shù)據(jù)中心的各種應(yīng)對措施。
數(shù)據(jù)中心最終都是要接入到運(yùn)營商的骨干網(wǎng)的，運(yùn)營商的網(wǎng)絡(luò)并不是數(shù)據(jù)中心能夠控制的，所以就需要考慮骨干網(wǎng)的各種故障對數(shù)據(jù)中心產(chǎn)生的影響。比如最常見的骨干網(wǎng)業(yè)務(wù)中斷，骨干網(wǎng)絡(luò)一般是由環(huán)網(wǎng)組成，一邊中斷業(yè)務(wù)會馬上切換到另一邊，但實(shí)際應(yīng)用中，也可能出現(xiàn)雙雙中斷，比如骨干網(wǎng)絡(luò)節(jié)點(diǎn)的路由器故障，或者廣播風(fēng)暴了，也可能出現(xiàn)了網(wǎng)絡(luò)攻擊，總之結(jié)果都是去往數(shù)據(jù)中心的鏈路中斷了。這時(shí)數(shù)據(jù)中心無能為力了，如果沒有很好的備份系統(tǒng)，只能坐等，按照運(yùn)營商的故障處理效率，恐怕要達(dá)到小時(shí)級別，這對數(shù)據(jù)中心的業(yè)務(wù)會產(chǎn)生嚴(yán)重的影響，尤其是支付寶這樣的大型數(shù)據(jù)中心，每小時(shí)的成交量都在幾千萬，小時(shí)級別的中斷損失嚴(yán)重，并且一次這樣的業(yè)務(wù)中斷往往就可以使得數(shù)據(jù)中心的評級連降兩級，因?yàn)楦呖煽啃缘臄?shù)據(jù)中心要求全年無小時(shí)級別的業(yè)務(wù)中斷。在這種情況下，有人提出異地?cái)?shù)據(jù)中心的技術(shù)，即通過在多地建立數(shù)據(jù)中心，這些數(shù)據(jù)中心的業(yè)務(wù)可以備份，當(dāng)承載業(yè)務(wù)的數(shù)據(jù)中心故障時(shí)，直接將業(yè)務(wù)切換到其它的數(shù)據(jù)中心，這樣可以保證數(shù)據(jù)中心業(yè)務(wù)運(yùn)行的連續(xù)性，甚至可以做到業(yè)務(wù)層面無感知，自動切換。這個(gè)切換很簡單，基本都是通過調(diào)整路由的方式完成，將鏡像到原來數(shù)據(jù)中心的訪問流量通過路由指向可訪問的正常的數(shù)據(jù)中心，路由的切換可以是通過協(xié)議探測來自動切換，當(dāng)協(xié)議探測不通時(shí)候，路由自動切換，在這個(gè)切換過程中，通過技術(shù)手段可以做到不丟包或者很少量的丟包，這樣業(yè)務(wù)層面沒有感知。現(xiàn)在很多大型的數(shù)據(jù)中心都在建設(shè)災(zāi)備中心，就是要避免出現(xiàn)災(zāi)難級別的事故時(shí)，數(shù)據(jù)中心業(yè)務(wù)也不會受到影響，災(zāi)備中心和異地?cái)?shù)據(jù)中心的作用差不多，主要目的都是對現(xiàn)有的數(shù)據(jù)中心業(yè)務(wù)做備份。當(dāng)然，這樣直接建設(shè)一個(gè)數(shù)據(jù)中心做災(zāi)備是耗資巨大的，而且絕大多數(shù)的時(shí)候也派不上用場，這個(gè)只有財(cái)大氣粗的數(shù)據(jù)中心才會這樣做，更多的是多數(shù)據(jù)中心備份，也就是處于多地的數(shù)據(jù)中心同時(shí)工作，當(dāng)其中一個(gè)數(shù)據(jù)中心故障時(shí)，業(yè)務(wù)會切換到其它幾個(gè)數(shù)據(jù)中心上進(jìn)行分擔(dān)，這樣只要原有數(shù)據(jù)中心設(shè)計(jì)上有一定的冗余即可。在短時(shí)間內(nèi)，其它幾個(gè)數(shù)據(jù)中心運(yùn)行可以保持業(yè)務(wù)不受到影響，等故障數(shù)據(jù)中心修復(fù)后，業(yè)務(wù)再切回。這些年關(guān)于災(zāi)備中心，異地?cái)?shù)據(jù)中心，多數(shù)據(jù)中心等解決方案都得到廣泛關(guān)注，從技術(shù)上講不存在實(shí)施的難度，但是實(shí)際應(yīng)用并不多，主要還是成本的因素。建設(shè)一個(gè)災(zāi)備中心，一年中可能一次也用不上，這對投資是極大的浪費(fèi)，多數(shù)據(jù)中心方案可能更容易接受，多個(gè)異地?cái)?shù)據(jù)中心共同承擔(dān)故障數(shù)據(jù)中心的業(yè)務(wù)，這樣，這些數(shù)據(jù)中心只要有一定的業(yè)務(wù)處理能力預(yù)留就可以了。
我們在數(shù)據(jù)中心設(shè)計(jì)上做到了盡善盡美，卻經(jīng)常忽略人為的因素。數(shù)據(jù)中心的業(yè)務(wù)系統(tǒng)是非常復(fù)雜的，但越復(fù)雜的系統(tǒng)越容易出現(xiàn)人為故障。不管人為故障是無意的還是有意的，都應(yīng)該極力避免。避免人為故障最好的方法就是加強(qiáng)對操作人的管控，在數(shù)據(jù)中心運(yùn)行的過程中，切記不要輕易對設(shè)備參數(shù)進(jìn)行調(diào)整和改變，通過設(shè)置各種訪問控制列表，不同級別的人訪問的設(shè)備是不同的，在設(shè)備上敲入的命令也要經(jīng)過命令行授權(quán)，沒有通過命令行授權(quán)的命令是無法執(zhí)行的。雖然有這些管理措施，但是還是無法完全避免人為的故障。比如很多時(shí)候要進(jìn)行業(yè)務(wù)調(diào)整，這必然要對數(shù)據(jù)中心運(yùn)行參數(shù)進(jìn)行改變，這就和操作員的技術(shù)能力強(qiáng)相關(guān)，有些操作員對業(yè)務(wù)的理解能力很強(qiáng)，可以很快做出正確的調(diào)整指令，但有些操作員可能就會誤操作，導(dǎo)致業(yè)務(wù)異常。這些無意的人為故障，那么可以通過增加操作員的培訓(xùn)或者讓經(jīng)驗(yàn)豐富的人員來執(zhí)行，通過加強(qiáng)對人員技能的培訓(xùn)，基本可以減少這類故障的發(fā)生。而有意的人為故障更加隱諱，很難避免，畢竟每個(gè)人心里想的外人很少有人知道。數(shù)據(jù)中心內(nèi)部包含有大量隱私數(shù)據(jù)，通過獲取到這些數(shù)據(jù)中心甚至可以非法獲利，還有可能有些人就是為了報(bào)復(fù)，這些有意識的操作導(dǎo)致的故障通過管理制度也難以避免。就像這幾次空難，最后確認(rèn)都是機(jī)長的原因，我們無法確知機(jī)長的心理活動，所以這種人為故障是最難發(fā)現(xiàn)和避免的。為了減少這種故障，只能從感情上去教育，提升數(shù)據(jù)中心人員的職業(yè)道德感，時(shí)常給數(shù)據(jù)中心人員敲敲警鐘。雖然數(shù)據(jù)中心故障很少能夠帶來生命上的傷亡，卻可以造成金錢上的嚴(yán)重?fù)p失，這往往是一個(gè)數(shù)據(jù)中心工作人員無法補(bǔ)償?shù)模寯?shù)據(jù)中心人員知道這樣操作的嚴(yán)重后果，從而減少這類有意的人為故障。
故障給數(shù)據(jù)中心帶來的負(fù)面影響是沉重的，但又是不可避免的，任何一個(gè)數(shù)據(jù)中心都出過大大小小的問題，關(guān)鍵是要做好這些故障的預(yù)防措施和補(bǔ)救措施，以便將影響降低。數(shù)據(jù)中心并不怕出故障，怕的是出了故障沒有修復(fù)機(jī)制，或者無法及時(shí)修復(fù)，這樣任何一個(gè)小故障都可以演化為重大事故。對于數(shù)據(jù)中心故障要保持一顆謹(jǐn)慎的心態(tài)，警鐘長鳴。
京公網(wǎng)安備 11010502049343號