您的IT部門可能已經存在一些問題,如果不盡快處理,可能就會遇到大麻煩。
雖然現在看起來一切都很正常。但預警信號早已經出現,只是你還沒注意到它們。
網絡突然間變得很不穩定,簡單的問題需要更長的時間解決,有些事情就是這樣一遍又一遍地重復著。每次大規模的代碼發布之后都伴隨著大量的bug修復。影子IT已經是商業運作中的一部分了。而你卻是最后那個聽到商業戰略變化的人。
當你的員工離開的時候,一旦你的網站離線了,你的用戶就會在云里建立他們自己的數據中心,而黑客已經把你的客戶記錄放在暗網上出售,此時一切都已經無可挽回。
以下是一些潛在災難的預警信號,以及避免它們的方法。忽視他們,你必將承受相應的后果。
1.用戶停止抱怨
你可能認為用戶抱怨的減少是件好事。然而,Alvaka Networks的首席執行官Oli Thordarson說,你可能錯了,其所在的??公司為需要全天候運行的中型企業提供IT服務。
他說,投訴的減少往往意味著用戶放棄了解決問題的希望,這可能導致各種各樣的不良后果。
“求助的減少并不總是意味著經理做得很好,”他說。“這通常意味著用戶社區對該IT團隊失去了信心。接下來發生的可能是影子IT,備用用戶支持機制,以及可能的解雇和人員改組。”
Thordarson說,當用戶抱怨的時候,這意味著他們希望IT商店能夠響應他們的需求。每個組織在任何時候都可以有一定數量的開放門票;訣竅是建立一個投訴數量的基線,然后密切關注這個數字是否發生了巨大變化。
投訴的增加可能是由于大規模升級或其他重大變化;支持票的減少可能是由于某個重大的過程改進或某些長期存在的問題正在得到解決。
“但是如果你不能回答為什么它們會上升或下降,那就意味著你本身存在著問題,”他說。
2.午餐室突然擠滿了陌生人
如果你在辦公室吃午飯,忽然發現周圍都是你不認識的人,可能是因為你的公司收購了另一家公司,卻沒有告訴你。
這次收購可能對組織有利,也可能沒有。不管怎樣,你的團隊可能需要擱置戰略性項目,花時間整合新收購公司的系統和數據。這會削弱你的創新能力。
房地產網站Trulia的工程副總裁deep Varma在2005年前后在雅虎工作時親眼目睹了這一點。那是在搜索門戶收購adtech Overture公司和其他許多小公司的時候。
“雅虎收購了許多小公司和大公司,所以我們的大部分時間都花在了整合上,而不是尋找提高搜索關鍵詞和質量的方法上,”他說。“我在那里的時候,我的員工總是說,‘天哪,我花了這么多時間來做整合’”。這大大減緩了創新的速度。
理所當然,很多都是你無法控制的——你不能確切地告訴CEO停止收購公司。但是,您可以集成業務領導者真正需要的部分,例如通過分析將產品、路線圖和業務部門分開。
“Zillow Group (Trulia的母公司)多年來已經進行了許多收購,但我們的策略通常是創建一個能夠自立的品牌組合,”他說。
雖然Varma仍然忠于他曾經認識的雅虎,但他表示,雅虎沒有從戰略上考慮每一筆收購如何能夠融入其整體業務,因此失去了了創新能力。這最終導致了它的滅亡。
3.你一直在解決相同的問題
讓一個組織的IT團隊最終癱瘓的直接原因很少會是單一的戲劇性的事件;更常見的是由于技術債務的點滴積累。
通訊與協作公司xMatters的運營主管Adam Serediuk說:“深夜隱藏著的工作,微小但無法解釋的宕機,簡單但需要越來越長的時間才能完成的任務——企業忽然之間衰敗的情況太頻繁了。”
Serediuk承認,任何組織都存在一定程度的低效率,而且大多數流程都是為了提高效率。但是,當同樣的系統不斷崩潰,卻沒有人采取積極的措施來阻止它的發生時,它會造成難以置信的難以爬出的無底洞。其結果通常是員工的倦怠和高水平的人員流失。
“總有那么一刻,有人會決定離開一個組織,”他說。就像他們花了整整一個星期的時間來處理同樣的問題,然后招聘人員在LinkedIn上給他們發了一條信息。就像‘你知道嗎?我受夠了。'然后繼續前進。
最好的解決辦法是拋棄舊的有問題的系統,如果可以的話,重建一個新系統。
他說:“當正確的方法擺在你面前時,你很容易陷入沉沒成本謬論的陷阱:用從那次經歷中學到的知識重建它并使它變得更好”。“然而技術變化太快,根本無法承受過去的錯誤。”
4.您提交的代碼太多了
LinkedIn網站可靠性團隊工程副總裁Bruno Connelly說,當你發布了大量的大塊代碼時,并有可能產生級聯效應,從而導致整個系統癱瘓。
他說:“雖然我們很容易一下子就把所有的東西都搞砸,但是有大量微小變化的代碼塊顯然要復雜得多”。“當出現問題時,它可能引發其他更系統性的故障。”
他說,以相對較少的更改交付較少的代碼,并更頻繁地交付代碼,這樣會更好。
“我們已經優化了我們的系統,以便盡可能多地發布代碼,”他說。我們試著不斷地輸出少量的代碼。這對我們的游戲很有幫助,我們可以驗證所有的東西仍然具有相同的性能特征和下游依賴性。
專業人士的社交網絡還通過故意模擬意外的系統故障來確保自己做好了準備。去年11月,該網站推出了LinkedOut框架,該框架允許可靠性工程師在應用程序中人為地觸發故障,以查看服務處理故障的方式。
LinkedIn每天還會迫使它的一個主要數據中心進行故障轉移,以確保它有足夠的容量和自動化能力來承受實際的數據中心災難。
“如果你對自己在故障轉移場景下的生存能力不太自信,那是另一個警告信號,”他補充道。“你需要通過不斷地去接受失敗來適應它。”
5.員工不再與你進行溝通
當你挑戰你的團隊去解決棘手的問題或想出新的策略時,你所聽到的都是唏噓聲時,你就知道你的團隊有一個嚴重的士氣問題了。
“如果經理和用戶經常帶著想法和熱情的解決方案建議來找CIO,那說明經理在領導和管理方面就做得很好。”Thordarson說。“當用戶不再有新想法時,他們要么是對自己的CIO失去信心,要么就是已經創建了影子IT。”
這可能源于經理未能積極鼓勵合作和實驗,缺乏成熟的文化。
“我見過一些公司,整個IT團隊似乎都看不起其他人,”他補充道。“如果你開始認為你的雇主只是你翱翔在技術海洋的一個工具,那么你對你的公司來說并不是一個很好的資產,也許是時候引進一個新的領導者了。”
Serediuk說,有的時候員工可能不愿意提出新的想法,只是因為他們太累了。
“當團隊精疲力竭時,你會遇到巨大的不情愿去改變的障礙,即使這種改變能改善他們自己的生活,”Serediuk說。他們會認為它會失敗,因為這是他們迄今為止的經驗。到目前為止,每一次變化都讓他們的生活變得更糟,那么為什么這次會有什么不同呢?你需要能夠看到這一點并做出適當的反應。
6.你已經從高層與會名單中消失了
在IT管理中,沒有消息絕對不是好消息。如果你不熟悉重要的管理決策或不參加c級戰略會議,你就會遇到問題。
Thordarson說:“沒有被邀請參加高層管理人員會議,這是一個關鍵的跡象,表明你已經被邊緣化,不再與公司有關”。 “很明顯,他們不信任你,也不認為你有什么可以貢獻的。”
Thordarson補充說,有些人怪罪于IT經理,但他們沒有意識到,為了贏得管理層的尊重,他們需要根據業務成果制定技術問題。
“你不能只說,‘我們需要新的路由器,因為網絡真的很慢’,或者新的軟件,因為你每天晚上都必須重建數據庫,”他說。“但是如果你告訴他們每天晚上重建數據庫每年要花費200萬美元,你就知道他們會做出反應。”
人工智能分析公司thought spot的首席數據傳道者Doug Bordonaro說,首席信息官們常常迷戀于基礎設施,卻忽略了更大的商業前景。
他說:“通常,首席信息官更多的專注于安全性、合規性、數據管理和其他基本任務”。“在今天的數字經濟中,這已經不再適合了。如果你沒有花費相同的時間在數據貨幣化,啟用業務線,并在整個組織中傳播數據的力量,那么你可能就無法長期的擔任首席信息官。”
7.你的團隊正處于警報疲勞狀態
IT經理知道他們需要實時監控關鍵的業務系統。但是有太多的警報幾乎和沒有警報一樣糟糕。
“你可能有100臺服務器或5,000臺服務器,但你的監控儀表板總是有30個打開的警報,”Serediuk說。“它們可能只是信息性的,或其他已知的問題,但你仍然有這30個紅色的盒子盯著你。所以,當一個關鍵警報彈出時,你如何將它與僅僅是噪音的30個警報區分開?”
基于云的監測平臺SignalFx的解決方案工程負責人John Bruce表示,“警報疲勞”可能存在兩個嚴重問題。一是IT經理最終會忽略嘈雜的警報,包括潛在的嚴重警報。二是導致倦怠和消磨心志。
他回憶說,他訪問了一個潛在的SignalFx客戶,該客戶仍在使用遺留工具監控一個基于云的動態托管平臺。
他說:“他們所使用的監控系統太吵了,以至于他們的操作人員都精疲力竭了”。“如果你在凌晨三四點不斷收到錯誤警報的傳呼,那的確不是一種好體驗。”
Serediuk說,管理人員需要處理積壓的問題,并確定優先順序,把最重要的事情放在能夠影響客戶的問題上,而這反過來又會影響客戶。
Bruce說,關鍵是要積極主動,在問題開始影響用戶之前,使用指標作為預警信號。
“你需要一些早期的指標,比如,‘好吧,這個服務看起來正在退化;我能做些什么來防止這種情況?'而不是,‘好吧,服務器和客戶端服務都已關閉;我們需要跳進去對抗這場災難。'”
8.聯邦調查局就在你家門口
每個CIO和CISO都在考慮數據泄露和安全違規問題,但并不總是清楚他們應該尋找什么。BugCrowd網站的網絡安全專家和顧問Paul Moreno說,在大的安全問題出現之前,往往會有很多小的信號。
例如:無法解釋的系統性能問題或高于平常的數據流量可能表明攻擊者試圖從您的公司中竊取信息。突然激增的來自新地點的登錄嘗試,可能意味著試圖破壞客戶數據庫的嘗試正在進行中。對您的API或管理端點的異常請求可能表示有人試圖破解您的網絡。
“如果你沒有監控以上的情況,那現在開始行動也不算晚,”他說。“對于內部管理端點而言,具有更高靈敏度的監控甚至是能夠自動觸發的任務(例如鎖定目標)對任何安全防護裝備都至關重要。”
這也有助于主動防御。實施雙因素身份驗證可以防止竊賊使用被盜密碼。Bug賞金計劃可以幫助提前識別漏洞,特別是當你的組織發布了負責任的范圍和信息披露指南時。此外,安全情報提供者可以掃描暗網,如果他們發現黑客出現妥協的跡象時,就可以通知你。
但是最可怕的(也是最糟糕的)跡象是什么?
“聯邦調查局的特工或安全供應商聯系你的組織,想要檢查最近獲得的數據是否與你的數據倉庫中的任何信息相匹配,”Moreno說。“這通常說明數據泄漏已經發生。”