以下是現場速記。

騰訊云大數據專家 史漢發(fā)

 

史漢發(fā)：今天給大家分享的主題是“釋放數據潛能，驅動業(yè)務增長——WeData數據治理介紹及內部實踐”。

 

今天將從四方面進行介紹：

 

1.數據治理挑戰(zhàn)

 

2.騰訊內部數據治理實踐

 

3.WeData數據治理平臺能力

 

4.行業(yè)案例

 

數據治理挑戰(zhàn)

 

隨著公司信息化程度的發(fā)展，會采購各種信息管理系統(tǒng)，我們的數據就會分布在各個存儲系統(tǒng)中，會帶來哪些挑戰(zhàn)?

 

1.數據信息分散，業(yè)務系統(tǒng)就會不統(tǒng)一，數據資產不明確。

 

2.元數據信息不全，每個都需要業(yè)務接口人維護、補充業(yè)務信息。

 

3.數據質量差。上游更改一張表，需要靠人肉判別等類似問題。

 

4.維護困難。當數據有問題時，往往事后才會發(fā)現、才會知道。

 

5.無法審計和度量。這么多人去使用數據，如何保障企業(yè)數據的安全。

 

通過騰訊內部的實踐和服務的客戶，抽象為以下幾個層次的需求，企業(yè)在數字化不同階段，對數據治理所關心的核心需求也不同。如：時效性，我們關心的是數據產出的及時性，向上需要數據的質量，數據需要有保障，準確性、完整性、有效性。有了數據質量之后，必須要數據可用，這時候數據需要易查找、好理解。數據安全，這么多人使用數據，如何進行數據脫敏、敏感數據識別、合規(guī)性要求，最后當企業(yè)數字化越來越加深時，就會關心數據存儲和對應使用成本的優(yōu)化和控制。

 

騰訊內部也經歷過這五個層次，一開始最底層層次時效性、安全性是基層能力，隨著業(yè)務發(fā)展之后，我們就越來越向上關注安全和成本。

 

基于這些需求層次，看一下騰訊內部如何進行實踐的。

 

關鍵詞：EB級別、千萬級，目前在騰訊內部有數千名數據分析師需要支撐QQ、微信、騰訊游戲等數萬個業(yè)務場景，在這些業(yè)務場景里做這些業(yè)務加工時，每天數據存儲會達到EB的級別，而且數據量在很大幅度不斷增加，包括現場做的一些視頻號直播等數據都會有很大數據存儲量的增加，每天會有千萬級的任務進行計算，其背后都是數據計算和存儲的成本能力。騰訊內部通過數據治理，每年可能會為騰訊節(jié)省很多成本。

 

在這么多業(yè)務情況下，騰訊內部如何把數據治理保證落地實施的呢?騰訊內部有這么多業(yè)務，從QQ、微信、微信支付、王者榮耀等，這么多BG有這么多業(yè)務，涉及的領域這么復雜，公司內部首先提供了組織的支撐，協(xié)同不同BG建立了Oteam，共同建設全集團大數據統(tǒng)一的標準。我們建立了一個統(tǒng)一數據接入層，Oteam會負責數據治理標準的實施、制定和落地。

 

有了組織的保障，內部如何進行落地呢?主要三方面：標準先行、工具協(xié)同、評測量化。騰訊內部制定了一系列標準規(guī)范，如元數據管理規(guī)范，除了企業(yè)級規(guī)范，也會向業(yè)界提供一些通用內部的能力，如和國家信通院一起參與制定一些數據治理管理規(guī)范的白皮書，有了標準，會有一套大數據治理平臺來進行工具協(xié)同。通過數倉分層，各個BG內部數倉表的命名規(guī)范，在工具協(xié)同過程中，會根據命名規(guī)范進行校驗，為數據開發(fā)工程師提供有力的保障。完成工具協(xié)同以后，最后數據開發(fā)師在這個平臺上進行大數據體系的開發(fā)以后，需要有一個評測量化標準，這時候會對各個數據開發(fā)工程師建立規(guī)范的技術企業(yè)級的評測標準以后進行實施。

 

如圖，從元數據管理規(guī)范、數據治理管理規(guī)范、數據共享、數據模型、數據運營等一系列企業(yè)級管理規(guī)范標準，中間層會提供一站式數據治理平臺，下面會有通用的大數據平臺到數據資產、資產的生產、數倉建模、資產評估、資產運營，最后會建立一套企業(yè)級的評測體系，這些評測體系覆蓋了元數據的成熟度、數據安全的成熟度、數據管理的成熟度，這些成熟度的評測反過來會約束數據開發(fā)者在這個平臺實施過程中的數據治理的落地，比如數據成熟度評估很大程度上依賴于中間一層的資產分，當資產分達不到標準時，我們就會反過來通過平臺、工具協(xié)同來限制數據開發(fā)者在這個平臺的使用，比如會限制數據開發(fā)任務的提交和使用的資源等等，來進一步保障元數據治理符合整體規(guī)范的。

 

標準先行，如何進行標準制定?以資產健康分為例，從規(guī)范側維度建立多維度評測標準，每個標準之內會對這些標準各個維度進行打分，比如數據規(guī)范體系里，按照大數據數倉分層，依次建立各個數據建表標準和一站式大數據平臺進行協(xié)同。

 

如何進行資產監(jiān)控?基于數倉分層做質量監(jiān)控，比如入庫倉，會對業(yè)務主件外鍵是否唯一進行評測，周期性數據波動是否過大/特殊類。數據層，根據匯聚邏輯做平衡值的監(jiān)控。維度表、事實結果層，根據主外鍵是否一致，維度增加/減少，增加一些質量保障。最后這些數據加工完成以后，會輸出給BI報表層、應用層，會增加一些像邏輯校驗、多標志鍵平衡觀點等方面，這是質量監(jiān)控實踐。

 

在資產評級方面，會建立一套對每個資產進行評級的標準，目前騰訊內部主要是建立五層關系，如第一級，這個表在6個月內都沒有數據更新，會認為是停運的表。如果數據6月內沒有數據訪問且沒有上下游依賴，這時候會認為是僵尸表。如果數據低訪問，訪問頻次大與1次，會有普通表，下面有一些訪問頻次高、使用溫度高的，會有主干表和核心表。

 

之后可以進行成本優(yōu)化，結合一站式大數據治理平臺，會收集任務基礎信息，包括運行狀態(tài)、任務依賴關系、計算資源的資源消耗，有了這些基本的信息以后，我們就會進一步對任務進行標簽處理，比如任務30日成功次數、失敗次數、運行時長、子任務數量等。形成一個紅黑榜，給用戶看在資產治理方面排名情況。

 

基于這些紅黑榜，有效地約束數據開發(fā)者在對開發(fā)任務進行數據的治理。內部業(yè)務線經過成本治理優(yōu)化，每年累計能夠節(jié)省546個計算單元，每年節(jié)省千萬級以上。

 

WeData數據治理平臺能力

 

比如彈性EMR、云數倉、數據湖計算系統(tǒng)，在上層WeData層，我們提供全鏈路數據建模到數據集成、數據開發(fā)、數據運維的數據開發(fā)能力，也會提供數據治理、數據運營、數據質量、成本運算的數據一體化運營。整個WeData體系在大數據基座和上層數據應用產出方面起到了承上啟下的串聯(lián)。

 

結合五個層次需求分別介紹WeData如何實現的。

 

時效性，WeData提供了統(tǒng)一的元數據，從普通的關系型數據到大數據存儲，甚至外部業(yè)務系統(tǒng)，提供各種能力，提供多種采集方式，包括實時Hook采集和離線周期采集、業(yè)務元數據主動上報。提供在線目錄數據能力和 AP數據湖分析能力。

 

數據質量，這一模塊是保證五個需求層次中的質量。提供了可視化配置，用戶可以直接在平臺上進行配置數據監(jiān)控、規(guī)則模板、運維管理。平臺方面提供了一些豐富的模板，包括53種官方模板，來提供常見功能件，提供字段級別、表級別的質量校驗。最后還會提供全維度規(guī)則，包括讓用戶進行事中檢測何時候檢測。事中檢測是指質量任務可以跟我們整個大數據平臺調度任務密切配合的，當質量檢測不通過時，會阻斷質量任務下游運行，而避免讓數據質量問題發(fā)散。最后通過這些規(guī)則和配置，每天運行情況，匯總出一個數據質量報告，來評判這個表的綜合質量情況，包括不同維度的質量情況，來進行當前表的健康度情況的評判。

 

平臺中如何進行可視化一站式完成用戶在數據質量的配置，用戶只需要選擇對應的規(guī)則模板，配置對應的監(jiān)控，包括ETL的周期監(jiān)控或離線的周期監(jiān)控，最后對質量進行運維以后，基于運維的結果，展示整個數據質量結果的分析。

 

如何保證數據的可用性?WeData層面提供了數據運營的模塊，主要從以下幾個維度，如數據法一發(fā)現、數據查找、數據探查、血緣分析、脫敏分析、元數據詳情幾個維度，全面展示數據情況。

 

全局檢索層面，用戶只需要在這里根據表名、表字段、血緣信息可以全局一鍵檢索出當前標的情況。數據探查和血緣分析、影響方面，當要改一張表時，對表增加一個字段或刪除資產質量分比較低的表時，如何確定這個表對下游會產生哪些影響，這時候就用到數據血緣的模塊，根據血緣可以看出這張表會對哪些業(yè)務或哪些任務產生影響，進而做出判斷。

 

隨著公司數字化程度越來越深，對安全的需求越來越密切。WeData層，從數據保護、數據分級、數據安全加固和數據審計四個維度提供數據安全能力。這方面主要包括在數據保護層面提供了數據加密、數據脫敏、數據水印方面，基本做到數據可用而不可見。數據分級提供數據分類的分級、敏感數據定義和敏感數據分布情況。安全加固提供了安全策略、權限策略、數據打標策略，事后合規(guī)審計、日志監(jiān)控能力。

 

成本，結合一站式大數據開發(fā)能力和前面用戶從開始建模以后，到把數據集成匯聚到大數據平臺，會進行數據開發(fā)，最終通過數據服務展示出去時，這個全鏈路都是有數據各種成本的。這里我們會結合全鏈路數據開發(fā)能力，收集全鏈路里各個節(jié)點的一些數據資源的消耗和成本的消耗，最后提供給用戶當前每個用戶數據存儲成本、運行成本、服務調用成本，有了這些成本能力，我們結合內部實踐，通過BI報表，呈現出每個人可以清晰地看到這個人在這個平臺、在公司內部大數據資源消耗是什么樣的，基于這些消耗，同時也會提供一些紅黑榜，約束數據開發(fā)者如何盡快在我們平臺上對數據進行治理的落地。

 

行業(yè)案例

 

案例1，某商業(yè)銀行情況，這個商業(yè)銀行之前在內部使用時數據開發(fā)和調度工作分散非常嚴重，數據質量很低，大數據組件運維非常復雜，缺乏統(tǒng)一有效運維中心。通過接入WeData平臺，統(tǒng)一對接了1.8萬家數據任務，統(tǒng)一落標1000個標準項，統(tǒng)一管控19000張數據表。

 

案例2，在工業(yè)領域，物聯(lián)網檢測時，一些設備會產生各種數據需要采集，通過接入WeData平臺以后，實時采集物聯(lián)網的數據，進行數據分析，最后工程設備實現可視化監(jiān)控，進行運維。

 

在企業(yè)化、數字化不同階段，對企業(yè)數字化的要求不同。騰訊內部如何進行落地呢?首先有組織的支撐，然后標準先行、工具協(xié)同，再到評測量化。

 

謝謝大家!