以下是現場速記。

普元大數據首席顧問 李書超

 

李書超：各位嘉賓下午好!非常榮幸今天給各位嘉賓帶來這樣一個主題分享。

 

主要從我們的視角，最近幾年我們看到的各個行業對于數據建設的一些很好的心得體會，想跟大家做一些分享，給各位嘉賓在自身建設中提供一些幫助，就是非常有意義的事情。

 

分享分三部分：

 

1.數據建設的現狀和問題

 

2.數據治理運營一體化能力連接。在數據建設場景下，需要把全部能力做全景化連接。

 

3.業界數據建設標桿參考

 

一、數據建設現狀和問題

 

現在大家講數字化轉型，無論做業務的模式變革、業務的創新，做數字化的驅動，其實本身對于信息化而言，大部分都是一些IT的重構，之前我和一些大型企業，比如建行總工聊時，非常精準概括，他認為數字化轉型本質就是把原有IT重構掉。傳統很多應用，如ERP、MES、PDM、SCADA等很多企業做得很成熟、做得很好了，未來重構IT，不是把這些系統重新做一遍，會有很多創新的應用產生，如業務的協同，產供一體化、銷服一體化、數字化運營等，個人總結下來，現在要做的未來數字化應用和傳統的應用有什么區別?傳統的應用更多是表單流程式的，數據自維護，業務人員自己錄入自己用，或者我錄入給別人用，給業務操作提供方便。未來有什么特點?有幾個方向：基于數據的應用，沒有數據玩不轉，而且數據不是自己產生的，不是由業務人員自己錄入的，可能上游給我的，可能內部匯總的，可能是收集的，是給業務提供建議和指導的，不是提供方便。傳統應用更多是方便，對于超大型企業而言有IT是必要的，整個IT建設、信息化建設，從最早的無紙化、電算化，上OA、財務系統，大部分是提供便捷，對一些中小企業而言，沒有這些也可以用。對于未來整個建設思考是在做數字化轉型，是一些基于數據的應用來建設，才能對我提供支撐。

 

數據本身存在種種問題，也不一一贅述，幾乎整個業界大家都非常理解，不可知、不可尋、不可用、不可供、不可連接，總會遇到其中一兩個問題，數據質量問題、格式不對、異常、數據斷流，種種問題都會困擾著我們。

 

我們在數據共享應用中也存在諸多問題，想把數據用起來，數據在哪里，在硬盤深還是Excel文件。什么形式?接口、數據下發。共享內容也不清晰，需要數據的人，不知道數據誰有，采購、研發、技術、銷售、售后各部門之間業務壁壘嚴重，尤其大型企業，需要的數據哪個部門給我，最終都會找到IT。提供方，數據共享給誰，他為什么要這個數據，這個數據做什么用，這時提供方很擔心的。我有這個數據，但數據安全性很高。管理職責不明確，誰來管，管什么，如何管，管到什么樣的程度。

 

為了解決這些問題，相信在座的嘉賓自身企業里或多或少都建了一些數據能力，有數據集成、實時計算的、報表工具、BI工具、大數據平臺、混合的存儲、Hadoop平臺、內存數據庫等等非常多樣化的存儲，數據的開發、數據治理、主數據、隱私計算、數據安全，可能上了很多平臺，平臺越來越多時，相信現在沒有任何一家廠商說一個廠商能提供所有的工具，不是重ERP時代了，這時候即使都使用一個廠商的工具，也可能是不同部門研發的，工具之間如何集成?工具之間會不會一些阻礙?都阻礙著我們去使用數據平臺，支撐我們數據建設一個非常大的問題，經常各自為戰，如何捏合在一起。

 

我們有了工具，還要干活，無論是我們自己的人還是供應商，還是廠商、外包的，有很多種模式，在這種模式下會有各種各樣的工作，需要有一個需求，業務提了分析的需求，我要給他出一個報表;老板要看經營情況，跟競爭對手分析的需求，很多分段工作，數據的接入、數據的治理、數據加工、軟件開發、需求對接這些內容并不是說我們新提出來的，大家都了解，這些事情中可能會包含很多段工作，很多大型客戶就把這些數據拆成一段一段的，A廠商做數據接入，B廠商做數據治理，D廠商做數據開發，因為每個廠商有自己的擅長能力。從分工協作角度上蠻好的，但是這么運轉過了兩年之后發現，在整個溝通協作上會有非常大的問題，因為無論底層工具平臺從原始數據，經過集成、計算、元數據、標準質量、主數據、開發、隱私計算、報表流轉過來之后，很多時候最終需求的人、需求的用戶可能看到的成果跟他提出的需求確實不匹配，太常見了。很多時候我要的是這個東西，你給我的是另外一個東西。

 

就像綜藝節目一樣，經常會做傳話游戲，第一個人傳給第二個人，第二個人傳給第三個人，傳到最后，那句話跟開始的本意已經發生了很大的變化。這也是我們在數據建設中發現的問題，很多大型企業都在經歷這個陣痛，不是中小企業就不會這樣，中小企業可能體量比較小，工作比較少，是不是幾個人就結束掉了。人和人之間的理解還不一樣，所以會導致很多段工作之間有很多問題。最終展現結果和需求不匹配，要找問題，一段一段找，接入時把數據來源50億條，接入時少了一些，中間代碼轉換，數據格式變了，加工時做了維度上的匯聚，最后展現開發，生成一個報表，多段分工模式下，會有非常大的協作模式。

 

現在我們很多客戶，包括我們和客戶共建時開始探討端到端的概念，是否能夠把整體打穿。如何整體打穿?第一部分講的是很多企業建設過程中遇到的一些困惑、問題，無論平臺還是工具。

 

二、治理運營一體化能力連接

 

治理是什么、運營是什么?治理一詞現在大家叫得比較濫，什么都可能叫治理。運營是什么?數據是一個很長的鏈路，數據的來源，ERP、MES、WMS，接很多數據過來，有很多流式數據接入，或工業互聯網的壓力、溫度、傳感數據接入，還有批量的，然后有數據清洗、存儲，存儲上有邏輯的劃分，哪些存在大數據平臺，哪些存在內存數據庫，包括原始數據存在哪里，最后結果存在哪里。進行一些主題和模型的設計，經過一些規則、算法、關聯形成數倉、數據集市、大數據湖或大數據平臺、數據中心、主題庫，最終給內部無論是IT也好還是業務也好共享數據，或者把數據加工好，把結果提供給他。會發現這是一個非常長的數據鏈路。對這個數據鏈路要掌握，而且這個鏈路的工作不是一次性的，這個鏈路會持續發生，今天在跑，明天也在跑，而且新來一個需求馬上就跑。所以我們叫做數據運營。

 

“運營”一詞最近兩年也被逐漸納入到大家視野中，包括國家現在發的很多政策，未來政務的公共數據要授權運營，肯定是國企。類似于企業做數據運營，未來社會數據要進行交易，現在國家“十四五”中講產業數字化，數字產業化。未來相信在座的各位嘉賓的企業里的一些數據在有安全保障的條件下，可以進入市場進行流通，為企業通過數據創造價值，數據交易已經開始了。

 

去年下半年，南方電網把第一筆數據交易賣給了廣發銀行，賣的是制造業指數。因為電網是知道每一個企業里的用電量增加，用電量增加代表業務增加，無論對金融信貸、國家企業扶持都有非常大的價值，所以可以把內容包裝成產品。我相信未來無論是我們自身還是很多跟外部的數據，都可以把我們的數據以產品的形式包裝出去對外營銷，也可以對外采購外部數據。相信大家幾乎都會采購外部數據，未來有些數據政府可以提供，有些數據是企業之間互相流通。這是數據運營的概念。

 

數據治理市什么?更多是對整個數據運營過程中相關的模型、知識、算法、規范、應用每一個內容進行管控的過程，要管理每一個環節，所以治理和運營是相輔相成的，是密不可分的。所以才叫做治理和運營的一體化，既要把數據運轉用起來，也把數據治理好。

 

我們一體化理念是什么?以數據資產為核心。“資產”一詞也是好多年前提出來的，不是一個庫、一個表、一個字段就是資產，能夠發揮資產對內對外的共享和交易的過程。資產為核心，達成全能力有機結合，所有平臺、所有工具都應該為資產服務，有的平臺是用來匯集資產的，有的平臺是用來存儲資產的，有的平臺是用來形成資產、共享資產、治理資產，更好把它用起來的。以數據治理為起點形成資產和優化資產，以數據運營為目標提供資產、應用資產。

 

這時候就把整個治理和運營一體化的場景做一個勾勒，有很多工具，主數據、大數據平臺、集成工具，這么多工具如何有機結合在一起，能夠為整體企業發揮價值，而不是各自為政。

 

如圖，最開始是從整體核心，資產目錄(資源目錄)，本質上就是數據的分類展示內容，如何形成一個數據的歸集，數據的編目、分類、展示，就是一個圖書館一樣，可能會由設計人員、咨詢人員、業務人員輸出很多相關的模型設計，由技術人員進行元數據的采集，有一部分會納入到主數據的建設，很大一部分會納入到標準質量，這些其實都是我們去修內功的，如何形成資產、優化資產。

 

對外(指IT外部)，對業務會有多個門戶，無論是面向業務人員的門戶，面向管理人員的門戶，面向技術人員的門戶，每個門戶都有人提交不同的需求，提交一個需求，希望得到服務，管理人員審批需求，技術人員開發任務，最終通過數據服務做封裝，而且這里跟主數據有連接，主數據管核心的數據，整個治理運營一體化要把全部數據覆蓋。要把所有數據全合到一起去看，這是我們認為治理和運營一體化的全部場景，可以把你在整個數據領域內的相關能力、平臺、工具、工作概括到一起、捏合到一起。當然建立這樣一個運轉機制，對于未來數據工作還是非常有價值的。

 

以中間資產目錄為切面，把下面叫做數據治理，跟傳統的數據、標準、質量是一樣的，上面叫做數據運營，未來要把數據更好地去面向用戶發揮價值，做開發，這是我們講的治理、運營一體化。

 

工具無論用什么，用某一個廠家或用多廠家的，關鍵要捏合到一起。

 

如何做治理?如何做運營?

 

治理現在有非常多的概念，比如通過咨詢做治理，通過基礎平臺做治理，做元數據采集，相關內容有很多咨詢廠商或專家也在做探討，我們重點講結果。現在大家做治理、做數據資產的盤點、數據資產的形成，更多是自上而下和自下而上相結合，自上而下從業務出發，按照業務分，業務有研發、生產、制造、倉儲、物流、營銷、售后，按照業務主題劃分，層層抽絲剝繭，到主題模型、概念模型、邏輯模型，自上而下有好處，跟業務結合有好處，缺點是有時候會不接地氣，所以才需要自下而上經過一些工具、技術，找到你做的主題模型落地在哪個系統的哪個庫的哪個表上，這是雙向結合的思路，而且是現在經過了整個行業錘煉和實踐過來的結果。

 

大家之前講數據治理其實更多都是事后的，事后可以做，但缺點是不及時，比如做數據質量，有客戶問我做數據質量很好，一掃數據，10億條中1億條有問題，你發50萬、100萬條數據給業務，業務絕對不會給你改的。我們希望把事后能往前推，在事中、事前，甚至跟IT項目的建設過程相結合。現在大家做數字化轉型，IT重構，應用重構，要重新做應用，整個相關數據的管理就在應用過程中做了，沒有必要等傳統一個系統做完之后再去做治理，這時候要在項目過程中每一個階段去落地一些治理的工作和管控的內容，優化數據架構、數據模型，無論在需求階段、設計階段、開發測試、上線、運維、迭代、模型變更、質量檢核、數據標準規劃、元數據采集、資產關聯以及相關管控審核，很多企業寫信息化項目管理規范時，很多人會寫上一句話，“要進行架構審核，做技術架構、應用架構、數據架構”，寫歸寫，數據架構怎么審?要做相關管控，去做相關審核，就是要做數據架構審核內容。

 

數據的運營。運營可能是長期的、長效的，可能有一些是由別人提需求我來反饋結果。這里講到數據的需求是全景化的需求，要一個數據，給我一個API，是一種返回，我要一個數據，給我一個Excel，也是一種返回，你給我一個在線查詢、一個報表，甚至做一個PPT，類似于這樣，未來數據運營就是滿足業務全部的數據需求，你有什么樣的需求，統一數據源管理，你要取數，不需要知道數據存在哪兒，我要找一個庫存，庫存數據在哪兒?在哪個庫哪個表里他也不知道，你告訴我要什么數據，我給你取，統一的數據源管理，統一的服務封裝，這個服務不是API。

 

通常意義上講的服務都是API，這里的服務是抽象化的，所有數據的結果都可以定義為服務，接入式服務，把數據接過來，數據的下發，發給二級公司，數據的獲取，給你一個API、Excel，給你數據報表，數據的加工、租戶的開通、質量的檢核都可以具象化一個服務，有服務就要有人去干，有一些可以通過平臺解決，因為業界有很多數據開發平臺可以自動化做很多開發，做服務的封裝，但逃不掉還是有相關技術人員介入的，可以通過開發的管理，通過技術的開發來實現數據服務需求。

 

也就是說可以把很多數據類工作全部以數據服務的方式進行封裝，包括接入、數據開發的服務、結果的服務、資源開通的服務、數據展示的服務、數據治理的服務。

 

信標委有一個大數據服務工作組，我本人在組里探討一些未來數據標準，未來我們做大數據服務，什么是服務?不是API，肯定有很多抽象化的封裝以及具象化的落地。

 

我們希望建立數據服務需求、開發、交付、反饋的全流程，就像電商平臺一樣，下一個訂單，要一個數據，這個數據怎么包裝好了給你，拿到之后用的好不好，好了給我反饋一下，不好也可以投訴我，對于整個服務來說，通過服務的目錄、服務的申請、版本授權、服務的日志、監控這些輔助功能，對服務的全生命周期，通過服務的開發、發布、部署、更新、下線以及對相關數據源的適配，對各種工具的統一管理，也就是說未來企業內部很多數據都要統一接進來，登一個賬號就可以打開一個報表工具，無論哪個廠商，打開大數據平臺、打開數據庫、打開機器學習平臺、打開多方安全計算平臺，可以做到統一的門戶上，讓業務人員提需求，讓開發人員做開發，大家把整個認知拉平，把整個任務做一個協同。這是我們認為從治理到運營從場景到具象化內容的介紹。

 

三、業界數據建設標準參考

 

相信隨著數字化進程，這一波潮流是國家和行業驅動下的，數據的建設相信未來會逐漸越來越深化，不僅是大型企業，大數據不是量大，是數據復雜，業務就是復雜的，量雖然不大，可能一天就幾百萬條，全年也就幾億條，但數據的復雜度決定還是大數據，這里需要整個相關建設，很多大型客戶所走過的路未來是很大一部分企業未來要走的路，因為大家的企業都是想做大做強。

 

標桿案例參考

 

案例1，助力某制造型企業，雖然這個領域比較小，是一個細分領域上獨特品類的龍頭，做到了國內第一、世界第一，構建整個產品數據全生態，因為從大家講數字化應用、產控平衡、數字化供應鏈，都希望做到按需生產，大型制造業、機械制造也備品備件，包括供應鏈端和銷售端如何達到平衡，以及跟售后的協調，無論做主數據也好，還是做數倉也好，都解決不了大型數字化轉型或數字化應用的問題，需要以產品為核心，把它從整個后端，從研發、采購、生產、質量控制到市場銷售、售后服務全環節打通，甚至與外部的物流、市場、競品等外部數據打通。很多部門之間有大量數據需求的，這些需求之間可能被忽視掉或拿不到真實的數據，類似這個時候，可以助力他把內部的數據打通。

 

案例2，城市級，直轄市公共數據數據治理應用，也是全國的標桿，未來大家會發現政務內容原本跟我們可能距離很遠，北京、上海、廣州各地都成立了交易所，未來政務數據之后授權運營，相信每一個在座的CIO或每一個企業都能拿到很多政務有償共享過來的數據。未來很多時候政府會首選運營，政府拿出任何社會企業拿不到的數據，比如做供應商入圍，供應商認證，想拿到它的信用數據，很多社會企業只能爬蟲去拿公共的信用數據，政府可以拿到它的證照、納稅信息，可能會給你一些評級，類似這樣的時候，公共數據也會參與到企業數據流轉，政府會把數據給你，你也把數據給政府。特斯拉、上汽大眾在林崗的工廠都要給政府上報生產經營數據，海關要做無感通關，也就是說有一筆采購可能不做海關查驗，直接讓你通關，比如大眾進口80萬個螺栓，海關不可能人工查，要求在數據無感通關之后，到了倉庫入ERP的時候，把ERP的數據給我，這時候知道你的入庫數據，生產線，這個月下線了多少臺車，下線10萬臺，出口12萬臺，肯定虛報。這是一個趨勢，國家在很多地方做一些試點。這時候，我們通過整個數據的歸集，政府體系內數據的歸集，體系外的歸集，全部編目，無論做一網通辦、一網同管，所有未來政務信息化應用都在這里整體實現。

 

案例3，一家大型央企，核心是寄遞和郵物，包括銀行、信托、保險，它的總部對31個省公司所有條線、事業部會有非常大的數據需求承接的內容，這時候構建集團數據中臺，全部串聯集融合、存儲、治理和應用全過程，面向不同角色，比如面向內部人員，通過PC端、微信、小程序、APP，給集團總部金融條線、銀行、證券、保險、信托、事業部、省分公司、電商公司所有人去賦能，一個業務人員直接在終端上可以提需求，就能看到一個數據的報表或拿到一個數據的文件。面向客戶，把數據包裝成營銷活動、維系活動，給分子公司、網點，未來有非常大的網點賦能的內容，還有電商平臺、營銷人員賦能，面向合作伙伴，未來我們很多時候互相合作，我可以把我的數據提供給你，你可以把你的數據提供給我，還可以跟監管部門、供應商平臺、物流平臺實現多方協作。相信類似于這樣建設時，真的就可以說通過數據的建設形成了一個企業內外部非常暢通的數據生態的通道。

 

總結

 

1.從我們認知下對各行各業企業遇見的數據建設中一些常見的現狀和問題做了總結。

 

2.介紹了我們認為要捏合數據治理運營一體化相關架構。

 

3.通過我們協助客戶建設的一些有經驗或者有成效的內容，希望跟各位做一個參考。

 

普元是一家傳統軟件廠商，有相關的中間件、數據中臺產品，為很多行業做場景化數字應用。

 

我們提供產品，我們更多提供方案，整合性方案，不一定產品都百分之百是我們的，但我們要為客戶整合交付他數據領域全體系，至少在數據方面。這也是普元公司治理與做的事情。

 

今天分享就到這里，謝謝大家!