如我們所見,數據正在以前所未有的速度增長,IDC曾發布報告稱,到2025年,全球數據圈預計將增長至175 ZB。如何在這樣一個數據大爆發的時代奪得先機,充分把握數字紅利,成為眾多企業面臨的一個重要課題。數據治理,可以說是企業實現數據資產變現這一過程中,具有奠基意義的一步。
什么是數據治理?
目前業界并沒有對其概念的統一標準定義,我們可以這么認為,數據治理從本質上看就是對一個機構(企業或政府部門)的數據從收集融合到分析管理和利用進行評估、指導和監督(EDM)的過程, 通過提供不斷創新的數據服務, 為企業創造價值。[1]
DGI(Data Governance Institute,數據治理研究所)認為,企業不僅需要管理數據的系統,更需要一個完整的規則系統以及規章流程。數據治理基本上涵蓋了企業所有與數據有關的內容,因此在整個企業范圍內,包括工作流程、涉及人員和使用的技術等等,都需要經過仔細考量,以保證數據的可用性、一致性、完整性、合規性、和安全性,確保在整個數據生命周期中,都具有較高的數據質量。
總體來說,數據治理的目標就是提高數據質量,將數據價值最大化。具體而言,數據治理的任務包括以下幾點[1]:
· 構筑適配靈活、標準化、模塊化的多源異構數據資源接入體系;
· 建設規范化、流程化、智能化的數據處理體系;
· 打造數據精細化治理體系、組織的數據資源融合分類體系;
· 構建統一調度、精準服務、安全可用的信息共享服務體系。
為何數據治理如此重要?
分析機構BARC在一項研究中對全球378家公司進行了調查,96%的受訪企業認為,數據治理已經不可或缺,而且未來將繼續在企業中發揮核心作用。調查顯示,合規性(64%)、更有效地使用數據(54%),以及與業務相關的內部和外部數據的不斷增加(54%)是企業制定數據治理計劃的主要驅動因素。
企業如果缺乏有效的數據治理策略,最直接的,將產生大量的“劣質”數據,這些數據的存在可能會帶來更大的風險,更高的管理成本,更低的工作效率等等。甚至于,在數據分析如此盛行的當下,劣質數據將對企業決策產生消極的影響——錯誤的數據,得到錯誤的結果。
制定良好的數據治理計劃,所帶來的優勢是非常顯著的,主要有:
· 企業將獲得更干凈、質量更高的數據,為進一步的數據活動打好基礎
· 標準化的數據資產管理方法、流程和策略,將有效提高數據運營效率
· 使數據更容易與業務建立緊密連系,推動數據資產的變現
· 提高數據安全性,保證合規性
總體來說,數據治理能夠帶來的好處就在于,更高效地幫助企業將數據價值轉化成實際的業務價值。
數據“井噴”仍在進行,機器學習、AI等這類十分依賴數據質量的技術持續火熱,全球數字化轉型浪潮也在全面推進,由此可見,數據治理未來將繼續在組織的數字戰略計劃中占有重要地位。
大數據時代,數據治理面臨新的困境
數據治理并不是一個新詞,最初企業中的數據治理是相對簡單的。幾乎所有被治理的數據,都是在企業內部的事務處理系統中生成,與現在相比,數據量較低,數據類型、IT環境也比較單一。隨著IT技術的整體發展,特別是大數據時代的到來,數據治理的“擔子”變得越來越重。
IT應用類型、數據源、數據分析方法不斷增加,數據治理進入了一個新的變革和發展階段。面向大數據的數據治理,應該具有更高的能動性,需要跟上更快的IT環境變化速度,做出積極的反應。可以說,在新的發展階段,數據治理的各項要求將變得更加具有挑戰性。
大數據治理必須跟蹤跨多個平臺的數據訪問和使用情況,并減輕數據使用不當造成的風險。在大數據環境中,驗證數據源并確保數據質量和數據完整性成為一個巨大的挑戰;此外,海量數據的存儲、如何最大化數據處理效率、保證數據可靠性與安全性也更具難度。