摘要:
在目前各行業數字化轉型的大背景下,數據治理工作一般是伴隨著數據平臺的建設以及運營的過程展開的。基于IDC數據,結合對行業專家的調研,愛分析預計到2023年,中國的數據治理市場規模將達到200億元人民幣。當前數據治理市場玩家眾多,但能力與服務趨同和單一,市場供應分散,能夠通過將管理方法論進行實踐,并進一步沉淀為產品,從而提升規模化部署和落地的廠商鳳毛麟角
當前,各行各業廣泛開展了數據湖、數據中臺以及大數據中心等建設項目,通過這些項目能夠實現降本增效以及監管合規等業務價值。
不過,在這一過程中,企業也面臨過去二三十年間存量信息系統和存量數據資產等龐大的數據源,這些數據普遍存在著不可理解、不規范、不一致和不準確等問題,制約了數據價值的發揮。數據治理為這些問題提供了解決方案,數據治理作為一項基礎工作獲得越來越多企業重視,成為企業的普遍實踐。
從企業對數據服務的需求看,過去二三十年,中國數據行業經歷了從點到面,從應用到底層治理的歷程:從最初注重數據生成,到數據分析,再到以中臺化為特征的平臺化融通,目前數據應用已高度繁榮。
數據應用繁榮發展的同時,也讓企業看到包括數據質量等數據底層的問題,亟需通過數據治理解決,中國的數據治理行業起飛的時機已經到來。
與此同時,從國外的經驗看,過去兩三年來,數據治理和數據管理領域的融資并購明顯加速。2019年4月,總部位于美國加州的數據管理平臺Segment 宣布獲得1.75億美元融資,融資后估值為15億美元;2020年1月,總部位于加州的專注于數據安全治理領域的廠商Securiti.ai 宣布獲得5億美元融資。
數據治理的具體內容包羅萬象,同時,涉及的廠商紛繁復雜,包括傳統IT集成商、咨詢公司和數據中臺廠商等。數據治理市場該如何界定?是否會發展成一個獨立市場?未來的市場空間如何?基于行業研究,以及對行業代表企業的深入訪談,愛分析將通過本文對這些問題作出詳細解答。
數據治理伴隨數據平臺建設和運營過程展開
在目前各行業數字化轉型的大背景下,數據治理工作是伴隨著數據平臺的建設以及運營過程而展開的。如下圖所示,在企業展開的大數據平臺建設和應用開發項目中,具體內容一般包括咨詢規劃和具體建設兩個部分。
其中,咨詢規劃環節包括三個方面:第一是數據平臺本身的規劃,包括數據庫架構、數據模型、技術組件和數據加工邏輯等規劃工作;第二是上層應用規劃,如精準營銷和智能風控等智能化應用的規劃工作;第三是數據治理規劃。
由此可見,數據治理工作屬于數據平臺建設和運營中的一個環節,數據治理落地既需要企業自己運營,同時需要融入其他工作的過程中。具體來看,數據治理的落地工作包括兩個方面:數據治理的管理落地以及數據治理的技術落地。
數據治理的管理落地,包括組織、制度、標準和規則等內容,會融入到數據平臺與上層應用的建設與運維過程中,對后者進行指導和約束;而數據治理的技術落地,則會有一套數據治理平臺,如數據質量管理平臺和數據標準管理平臺等,支撐數據治理的管理落地和常態運營。
另一方面,在面向組織全域數據環境時,數據治理工作則不限于數據平臺建設和運營過程,還包括面向源端業務系統、生產系統以及對外數據合作相關的數據平臺。
數據治理是指企業為實現數據資產價值最大化所開展的一系列持續工作過程,目標是明確數據相關方的責權、協調數據相關方達成數據利益的一致以及促進數據相關方采取聯合數據行動。具體來看,數據治理包括數據質量管理、元數據管理、數據標準管理、主數據管理、數據架構管理和數據安全管理,同時還包括數據管理相關的組織與制度。
作為“舶來品”,數據治理概念在中國經歷了與本地文化落地融合的過程。根據DAMA 國際數據管理協會的定義,在國外,數據治理一般僅包括目標、原則、組織、制度、流程等軟性要求,屬于數據治理的“狹義”范疇。而在中國,則將數據架構、數據標準、數據質量和數據安全等一系列數據管理活動納入數據治理的范疇,屬于“廣義”層面的數據治理。
數字化轉型加快,數據治理建設邁入第四階段
數據治理在中國已經歷了早期的數倉建設以及監管政策驅動的第一和第二階段,還經歷了近年來大數據平臺以及數據中臺等建設項目驅動的第三階段。在數字化轉型戰略的推動下,中國的數據治理正進入決策層牽頭建設的第四階段。
1)第一階段:2005-2009年
2005年左右,早期的數據倉庫建設在中國興起,一開始主要由商業銀行、通信運營商主導,隨后能源等行業企業加入。商業銀行通過與埃森哲、IBM等國外IT咨詢公司合作,最早將數據治理的概念在中國予以實踐。
數據倉庫建設涉及從不同來源的平臺中抽取數據并進行整合,在這一過程中,需要確保數據質量,包括數據口徑、數據標準和數據模型統一等。通過數據治理,建立起數據標準、數據模型等管理體系,能夠提升數據質量,確保數據倉庫建設順利推進,進而能夠更好支撐起BI等數據分析型應用。
這一階段,不同行業開展數據治理工作的路徑并不相同。由于監管要求和對于管理咨詢理念接受度較高,商業銀行的數據治理工作一般是在數據倉庫建設之前或者建設過程中展開;而通信和能源行業企業則更加重視數據倉庫平臺本身建設,數據治理是在平臺建設之后展開,如中國移動的數據倉庫建設始于2004年,而元數據管理規范則于2006年才正式推出。
這一階段的數據治理一般由IT部門和信息化部門牽頭,IT人員承擔數據治理的主要職責,業務部門很少參與。
2)第二階段:2010-2014年
這一階段的數據治理的需求主要集中于銀行業,主要由監管政策驅動。巴塞爾委員會于2010年底發布《第三版巴塞爾協議》,從技術層面對于銀行在數據的使用、積累和管理等方面提出了要求。
為了推動中國銀行參與到國際清算體系中,銀監會開始在國內推廣《巴塞爾協議》。早在2009年,銀監會就針對數據標準和數據治理這一話題進行了行業性研究,隨后于2011年推出《銀行監管統計數據質量管理良好標準》。該標準從組織機構及人員,制度建設,系統保障和數據標準,數據質量的監控、檢查與評價以及數據的報送、應用和存儲五大方面對銀行數據治理提出要求。
隨著銀監會出臺相關的數據治理監管政策,銀行業對數據治理演化成全行業的需求。不過,這一階段的數據治理仍主要由IT部門牽頭,業務部門參與有限。
3)第三階段:2015-2018年
隨著企業業務在線化以及“互聯網+”等戰略的深化,企業內部產生了海量的數據,并產生了充分利用數據并挖掘數據價值的需求。在這一背景下,2015年左右,企業興起了大數據平臺建設。
不過,囿于企業內部項目推進以及數據結構復雜等多種因素,大部分企業所展開的數據湖等大數據平臺建設項目一開始效果不盡人意,其中一個重要原因是數據管理方面存在問題。這引起了行業性的反思,企業希望通過加強數據治理,提升大數據平臺建設的效果。
進入2018年,數據中臺概念流行,企業紛紛推出數據中臺項目。作為一種組織架構,數據中臺概念所包含的統一數據資產管理、統一元數據管理等內容與數據治理的理念不謀而合。隨著數據中臺項目的推進,數據作為一種資產的理念開始被企業廣泛接受,推動了數據治理的進一步發展。
在這一階段,越來越多的企業開始搭建數據治理的專職團隊以及數據治理相關部門,數據治理不再僅是IT部門的工作,業務部門開始參與進來。在此過程中,數據治理的實踐仍存在一個誤區——只在數據中臺內部開展數據治理,而對源端業務系統的數據治理關注不足、推動不利,這也造成數據中臺的局部治理并不能保證企業持續不斷得到高質量數據。
4)第四階段:2019年-至今
在大數據平臺和數據中臺持續建設的同時,2019年以來,企業數字化轉型進入快車道。數字化轉型強調從企業全局出發進行戰略統籌,一般由企業最高管理層直接負責推動,數據治理真正第一次進入到了企業決策者的視野。
在這一階段,數據治理已內化成為企業機制建設的一部分,如2020年9月,國資委發布的《關于加快推進國有企業數字化轉型工作的通知》,針對央企數字化轉型工作,明確提出構建數據治理體系的要求。
在包括金融、通信、能源等數據治理開展相對成熟的行業,大多數企業都已設置數據治理(數據資產管理)的專職部門和崗位,而且越是數據治理成熟的企業,專職部門越是靠近業務側,且專職部門級別越高。
從以上數據治理歷經的四個階段可以看出,數據治理工作是隨著數據應用的深化而逐步推進的。總體來看,當前大部分企業已經認識到數據治理的重要性,并已普遍開展了數據治理工作。根據御數坊于2021年初發布的《企業數據治理現狀調查報告》,在參與調查的近600家企業中, 88%表示已展開了數據治理工作。
中國數據治理市場迎來爆發,未來前景可期
隨著企業越來越多開展數據治理工作,企業對數據治理相關的產品和服務投入也逐步增加。
在當前階段,中國企業的數據治理工作主要是圍繞著大數據平臺的建設和完善過程而展開的。隨著中國企業大數據平臺建設步伐的加快,與之相關的數據治理市場也將迎來爆發增長。
IDC預計,到2023年,中國大數據市場總規模將達到1600億人民幣,其中軟件和服務約為1000億元。2019年至2023年,中國大數據市場的復合增長率為23.5%。根據愛分析的調研,在包括銀行、能源和通信等企業典型的大數據平臺建設項目中,約20%預算用于數據治理工作。據此推算,到2023年,中國的數據治理市場規模將約為200億元。
分行業看,早期對數據治理需求主要來源于金融和通信運營商,不過近年來,包括能源、房地產、汽車等行業借助數字化轉型的浪潮,奮起直追。此外,隨著數字政府和智慧城市等項目的推進,政府部門也成為了數據治理的重要需求來源。IDC數據顯示,2018年,中國數字政府大數據市場達47.44億元人民幣,其中數據管理和治理的軟件和服務市場為31.81億元人民幣。
沉淀管理方法論,打造通用化產品是實現規模化的路徑
目前市場上數據治理的玩家主要分為三類:第一是IT咨詢公司,典型的廠商包括埃森哲和IBM等;第二是數據平臺和數據中臺公司,包括明略科技、數瀾科技和惟客數據;第三類則是專注于數據治理的廠商,典型代表是御數坊。
從產品和服務的供應來看,當前中國數據治理市場呈現較為分散的狀態,這主要受限于當前數據治理廠商采納的交付模式。
目前數據治理廠商典型的交付模式包括兩種,第一種是傳統咨詢模式;第二種是數據治理軟件為主的純工具類交付模式。在這兩種模式下,要實現數據治理的價值體現和規模化落地都面臨巨大挑戰。
在咨詢服務模式下,IT咨詢公司以提供頂層設計規劃以及組織制度規劃等體系化的咨詢服務為主,與具體業務場景存在較大脫節,企業業務部門參與度低,往往難以落地見效;在數據治理軟件的交付模式下,技術工具公司更側重數據開發人員技術化的功能,技術功能同質化嚴重,并且難以支撐業務人員、專職的數據治理人員使用,數據治理效果和價值難以發揮。
由此可見,在當前兩種模式下,采納任意一種都難以實現規模化落地,而要真正實現規模化其中一個路徑是將兩種模式進行結合:將管理方法論進行沉淀,打造成通用化產品,結合數據治理軟件產品以及智能化等先進技術,從而解決數據治理難以上手以及價值無法發揮的難題。
而這種可以因地制宜,實現高價值的模式,對廠商的產品能力提出了更高的要求,具體來看,體現在以下兩個方面:
第一是數據治理方法論和場景設計能力。咨詢方法論是指針對數據管理全生命周期形成的體系性實踐綱要,而場景設計能力則指針對數據應用場景的規劃和落地能力。
數據治理方法論和場景設計能力越強,就越能夠對數據治理過程中涉及的各種工作任務進行可操作的流程設計和軟件應用開發,將數據資產盤點、數據標準管理、數據質量管理、元數據管理以及數據認責管理等流程以在線化的方式形成通用化產品,實現跨行業的規模化落地。
第二是技術能力。在數據治理落地和實施過程中,可使用 NLP、機器學習、知識圖譜以及低代碼等先進技術,提升數據標準制定、數據資產目錄建設、數據認責管理等工作的效率,減少人工成本。廠商具備的技術能力越強,就越能夠快速推進項目的落地,實現規模化部署。
咨詢和產品一體化發展,御數坊推進數據治理規模化應用
御數坊是融合了咨詢服務模式以及純工具類交付模式的典型代表廠商。
御數坊成立于2014年,成立之初主要以提供咨詢服務為主。近兩年來,御數坊實現轉型,目前形成了“咨詢服務+軟件產品”的咨詢和產品一體化的服務模式,為企業提供全棧的數據治理解決方案。
御數坊(北京)科技有限公司成立于2014年12月,是一家在數據治理領域專注十年以上的專業機構。成立以來,參與多項數據治理專業國家標準編寫,服務于多家大型企業,行業覆蓋銀行、證券、能源、地產、汽車、通信、制造、政府等領域。御數坊以“咨詢服務+軟件產品”的一體化交付模式,致力于解決中國客戶多年以來的數據治理實踐困惑和挑戰。
在之前的咨詢以及純工具交付模式下,咨詢服務與數據治理軟件存在斷層,服務和產品與客戶需求脫節,數據治理投入大、時間長、阻力大而且價值低下。而御數坊采用的咨詢和產品一體化的服務模式,可有效解決這些難題,既解決了咨詢模式下數據治理難落地的問題,也解決了純工具模式下軟件工具面向技術人員而無法被業務人員使用的問題。
御數坊目前推出了拳頭產品“DGOffice數據治理辦公室”。DGOffice構建了大量基于咨詢方法論的協同化應用場景,能夠讓客戶簡單、規范的實現數據治理工作的起步。基于DGOffice,包括業務人員在內企業人員可在線進行數據資產盤點、數據認責管理、數據標準管理和數據質量管理等工作。
由于御數坊實現了將治理方法論融入DGOffice產品中,構建了數據管理工具功能化向場景化的轉化,因此能夠實現在同行業以及行業間進行復制,推進規模化部署。與此同時,DGOffice還具備智能化以及低代碼能力,能夠快速的支撐起客戶個性化的管理場景,提高實施與交付的速度。
在咨詢方面,御數坊的服務模式從以往的重咨詢轉向了當前以面向業務場景的微咨詢為主。在微咨詢的模式下,御數坊會圍繞著客戶反饋的業務場景和數據問題,如營銷指標治理以及客戶數據治理等,提供咨詢服務。相比面向全企業集團的大型體系化的咨詢項目,面向場景的微咨詢能夠圍繞具體痛點,快速解決客戶問題,具備見效快和效率高的特點,通常情況下,兩周到1個月就能完成。
在商業模式上,在目前輕量級微咨詢的交付模式下,御數坊的收費模式也比此前重咨詢的交付模式下變得更加靈活。具體來看, 御數坊目前的收入構成增加了產品部分的收入,按照模塊進行收費;而咨詢服務方面,則按照人/月進行收費。
未來,御數坊將繼續堅持咨詢和產品一體化的發展路徑,同時提高產品在整體收入中的比例。具體規劃體現在以下兩個方面:
在技術方面,御數坊將加強對低代碼、NLP、知識圖譜和機器學習等智能化技術的投入,提升產品實施和部署的效率;與此同時,御數坊還將加大對云環境下數據治理應用的研發投入,以適應當前企業IT基礎設施云化以及多云的趨勢。
在產品方面,在做好數據治理相關功能模塊的同時,御數坊還將探索向包括數據安全治理以及數據交易合作等領域拓展。
面向未來,數據治理開啟新征程
在市場規模迎來爆發增長的同時,未來中國數據治理市場也將呈現出新的特點,主要體現在企業需求、政策、技術以及基礎設施四個方面。
在企業需求方面,在“數據民主化”趨勢下,企業業務部門將越來越多參與到數據治理和數據利用的工作,數據治理將從IT部門及數據團隊走向業務部門,場景將變得更加豐富。
與此同時,隨著“數據要素”概念的推行,面向數據交易和數據合作的數據治理,或將成為新的趨勢。在完成大數據平臺建設的基礎上,對外進行數據合作,能夠提升數據價值,而在這一過程中,通過數據治理能夠明確數據開放和共享管理機制,保障合作各方利益。
在政策方面,數據治理的監管政策或將從銀行業擴展至其他行業。過去兩年,國家各個部委紛紛出臺針對全行業的數字化轉型、數據要素等方面的政策,數據治理成為這些政策的重要組成部分。
例如,國資委于2020年9月出臺《關于加快推進國有企業數字化轉型工作的通知》。通知提到國有企業集團應該加快數據治理體系建設,明確數據治理歸口管理部門,加強數據標準化、元數據和主數據管理工作,定期評估數據治理能力成熟度。
在技術方面,隨著數據安全及隱私保護相關法律法規的出臺,數據治理中正在增加數據安全相關的要素;而隨著AI、區塊鏈等技術的逐漸成熟,以及企業已經通過前期數據治理工作積累了大量元數據信息,包括NLP、機器學習以及知識圖譜等智能化技術有望在數據治理中得到廣泛應用。
在基礎設施方面,企業上云進程加快,同時企業越來越多的采用私有云、公有云和混合云等多種形式,并且使用超過一家云廠商的服務。多云的環境下也給數據管理工作帶來了挑戰,數據治理需要適應這一趨勢。
未來, 隨著企業數字化轉型的加快,對數據治理的需求將進一步提升;與此同時,國家和行業紛紛推出數據治理相關的行業政策以及行業標準,數據治理在中國將迎來屬于自己的春天。
關于愛分析
愛分析是中國領先的產業數字化研究與咨詢機構,通過判斷技術應用及行業發展趨勢,以公司價值研究為內核,服務于企業決策者和機構投資者。愛分析重點關注技術和數據創新,以及由此帶來的商業模式、行業與市場以及產業鏈變革機會,覆蓋領域包括金融、企業服務、教育、汽車、零售、房產、醫療及工業等。
截至當前,愛分析已調研以上領域優質企業超過3000家,涵蓋一、二級市場,并撰寫超過百份榜單及行業報告,系統積累了各行業及公司研究方法和評價體系,建立起了廣泛、專業的影響力。同時,愛分析已服務眾多客戶,包括各行業標桿公司、上市公司及主流一二級機構投資者。
法律聲明
此報告為愛分析制作,報告中文字、圖片、表格著作權為愛分析所有,部分文字、圖片、表格采集于公開信息,著作權為原著者所有。未經愛分析事先書面明文批準,任何組織和個人不得更改或以任何方式傳送、復印或派發此報告的材料、內容及其復印本予任何其它人。
此報告所載資料的來源及觀點的出處皆被愛分析認為可靠,但愛分析不能擔保其準確性或完整性,報告中的信息或所表達觀點不構成投資建議,報告內容僅供參考。愛分析不對因使用此報告的材料而引致的損失而負上任何責任,除非法律法規有明確規定。客戶并不能僅依靠此報告而取代行使獨立判斷。
北京愛分析科技有限公司2021版權所有。保留一切權利。