大數據解決方案的實施讓很多的IT部門面臨困境。大數據應用程序并不需要如支持團隊做應用程序一樣的基礎架構。隨著企業接受大數據,管理層會假設員工規模會減少。而那些非必要的技術人員應該做什么呢?一個答案就是:將其轉換為技術顧問,與業務部門進行協作。換句話說,就是給予他們面向客戶的角色。
大數據之后信息技術的狀態
大數據革命已然過去,這讓信息技術(IT)企業不同程度的采用了新技術。有些完全接受了大數據存儲和復雜分析的概念,并采用了最佳實踐和成熟的項目管理方法。結果是:形成了關于產品,銷售,訂單及最重要的客戶的分析寶庫。
而其他的用戶則沒有如此幸運。可能他們所購買的特定供應商的解決方案并不包含完整的規劃,或是可能中層管理人員并沒有準備好為成功的解決方案投入必要的成熟資源。結果便是:半組織化的信息集合,少數分析解決方案,并且這種想法會在某天以某種方式讓其付出代價。
與此同時,數據庫管理員,系統程序員,以及其他技術專家和主題專家處在一個后大數據時代。軟硬件安裝及配置已經完成,概念驗證和試點程序已交付給最先的內部客戶。大多數軟硬件混合大數據解決方案都不要求內部調優:分析查詢執行非常快,而且業務分析師正對探索和調查尋找有用信息翹首以待。
還剩下什么留給技術人員去做呢?
當前的基礎架構團隊
首先,我們來考慮多面手。新手DBA和系統程序員在這個類別起步,只是發展專業技能并在他們之后的職業生涯中加深知識。他們最好的角色往往是明確定義好的,標準化的流程。這些包括:
管理數據庫備份和恢復流程;監視并檢測災難恢復準備;實施自我分析和自我調優流程(有時稱之為自治);SQL查詢調優,包括Explains和訪問路徑分析;數據庫性能調優;測試生產對象和數據遷移;監視數據庫日志以發現錯誤和問題。
在新環境中,很多這些流程是多余的或不必要的。鑒于大數據分析解決方案的速度,SQL查詢調優在大多數情況下可能是不必要的。對于數據庫性能調優同樣如此,因為很多供應商的軟硬件混合解決方案(有時稱之為設備)是在沒有任何內部性能調優的功能條件下交付的。這就使得輔助人員更加容易的完成工作。
結果就是:在后大數據時代的IT企業中不再需要多面手。
接下來,讓我們考慮專家。他們專門負責處理復雜工作:
系統和網絡性能調優;軟件安裝和版本遷移;為關鍵任務應用程序做首要技術支持;協助和管理數據架構變更;對潛在供應商工具執行基準測試。
隨著IT企業接受大數據分析,需要專家做的事會更少,這意味著專家需求量會減少。
在后大數據時代的基礎架構支持
IT專家和多面手必須將他們的注意力轉移到內部用戶上來,他們會面臨許多的技術問題。以下是他們最為緊迫的一些問題。
大數據性能。 隨著大數據應用程序價值的增長,業務分析師對分析的使用會劇增。更多的查詢會產生可操作的結果,生成常規報表。用戶會要求時間跨度更大,地理區域更大的更多數據。最終,大量用戶和查詢會壓垮你的大數據應用程序。
專家應該注意增加內部用戶應用程序的知識。他們需要什么數據,他們什么時候需要,以及誰會使用這些結果?專家會在一些應用程序領域變為主題專家,作為內部顧問,以及會在諸如查詢效率和類似數據集之類的高級分析方法提供問題咨詢,進而提升他們的價值。
多面手可以在他們的環境中通過收集性能數據和使用統計信息來提供有價值的服務。這些數據可能會用于對查詢類別進行優先級的劃分。例如,當資源利用較低時,低優先級查詢會推遲處理。
企業數據模型。 隨著存儲了越來越多的數據,擁有一個有組織的數據字典和數據模型變得尤為重要。試問如果不知道擁有什么樣的數據,又如何有效的進行查詢呢?
專家,特別是數據庫管理員,應該已經意識到數據建模概念并且應該擁有多重應用程序和系統的知識。現在可以利用這些知識來協助業務分析師進行最初的分析定義和查詢構建。
多面手可以作為應用程序調查員來提供服務,給出數據元素的清單并進行分類和確認數據屬性和來源。
大數據技術。 大數據并不只是關于用戶姓名,賬號,以及存款等。雖然這些常見的業務數據可以包括在大數據解決方案中,但是還有更為有趣的數據元素和數據類型可以探索:
還有諸如大型對象(LOBs)之類的新型復雜數據類型。
諸如可擴展標記語言(XML)的自我描述型數據正變為內部應用程序數據傳輸事實上的標準。很多文檔和數據記錄都以XML格式存儲,因為它們可以通過多種跨平臺應用程序進行讀取。
多重結構數據在捕獲用戶網站行為的時候是很常見的。所謂的點擊流為追蹤網站訪問者做了什么和他們訪問了什么數據,以及他們的偏好數據提供了方法。
這些新數據類型中的有些會讓業務分析師感到困惑。專家和多面手都可以為參考和回答問題以及為新數據類型的展示和如何對它們進行最佳利用等提供服務
對過渡進行管理
支持經理應該找到相對簡便的方法為他們的員工在過渡上提供幫助。
一些多面手會在最初服務于特定的內部用戶,以在數據需求定義上為他們提供服務。然后這可以擴展到更多的技術角色上來,包括分析執行或是結果分析等。甚至將多面手轉移至業務線也是值得考慮的。
很多專家會繼續處理技術相關的問題,諸如性能和調優。一些會在高級分析選項,方法和分析新數據類型等方面提供內部咨詢。管理層必須讓這些專家在工作中保持主動,否則就要承受他們流失去其他類似企業的風險。
總結
基礎架構支持團隊成功的經受了大數據的洗禮,并且最有可能負責了許多應用程序的成功實施。但是,這一結果就導致對于IT支持人員需求不可避免的減少。IT專家和多面手必須通過學習內部業務線和讓他們自己熟悉當前的業務數據需求來擴展他們的技能。假設一個面向用戶的角色可能是他們僅有的長期職業生涯選擇。