01數據冗余
沒有MDM功能,企業內的每一個系統、應用、甚至業務部門都會收集自己版本的核心業務實體數據。最好的例子就是對客戶數據的收集。客戶的關鍵屬性如客戶名稱和地址信息在企業內各個角落都被重復的記錄著。非常遺憾的是,在這個收集客戶信息的過程中,很少會產生相同或者一致的結果。這導致了一個很嚴重的問題(除了存儲成本之外),數據冗余導致數據質量過差。
02輸入數據不一致
由于企業內主數據的不一致,導致企業大量的資源浪費,包括時間、金錢和人力資源等的浪費。判斷企業內一個客戶的真正地址或姓名是到底什么并不能增加企業的收入。而且非常不幸的是,因為沒有一個存儲機制用來保存比對過的客戶數據,這種對客戶數據進行一致處理的過程需要重復出現。
03業務低效
凌亂的主數據會導致各種業務低效的情況發生,如低生產力,低效的供應鏈管理,不一致的客戶待遇,客戶不滿意,浪費市場部門的努力等。一個客戶服務代表需要綜合幾個操作型系統去判斷一個客戶的真正狀態,這不僅是低效的,而且有可能會由于信息的不全使客戶產生不滿意而逐漸失去這個客戶。企業內的各種工作都顯示出,凌亂的主數據管理嚴重降低了企業的效率。
04業務變化
企業內經常發生各種變化,如引入新的產品和服務,公司合并與吞并,新技術出現并成熟。這些企業內的各種變化都會導致企業主數據的變化,如果沒有一套機制來管理這些變化,企業在數據冗余、數據不一致和業務低效等方面的問題就會不斷加劇。
MDM在IT基礎結構中的角色
MDM系統、應用及服務經常作為已存在的業務處理系統和商業智能系統在戰術上的擴展。但是,為了企業的發展,一個從戰略層面上考慮的MDM方案應該被單獨的提出來,這個方案應該是全企業范圍的,應該有企業的高層支持。這個MDM系統應該作為主數據的有效資源,給其他IT系統提供主數據。它不應該只在已有的IT應用上進行調整,也不應該為了解決一些問題而建立成分散的主數據管理應用。
MDM不應該是一個自底向上的戰術項目,企業必須要有一套戰略的MDM計劃。企業應該建立一個全企業范圍的主數據管理,真正去解決主數據問題,而不應該為了減小企業主數據問題而在原有系統上修修改改。
MDM的技術挑戰
第一個挑戰是要建立一個靈活的MDM業務及數據模型。這個模型是我們走向成功的路線圖。我們永遠也不能收集全企業內需要的所有的主數據。這個對主數據的需求會隨著時間而發生變化,如隨著業務的改變、市場方向的變化及企業文化的變化等發生變化。因為,對于主數據模型的設計者來說,必須要建立一個靈活的模型,當一些變化發生時,不能對以后的模型產生較大的影響。有些MDM供應商可以提供可定制的行業模板及數據模型,這對我們開始MDM項目很有幫助。
第二個挑戰是關于主數據質量的管理問題。數據質量包括標識和定義所有的主數據屬性,對這些屬性的質量進行評估并更正存在的問題。這是一個非常重要的任務,尤其是對于企業內各個部門之間的數據出現不一致的定義及使用方式時,這時需要對數據進行一致性處理。數據質量處理有兩種方案,第一種是在MDM方案開始實施時,所有的數據源都先進行數據質量清洗;第二種方案是在MDM方案中一個一個的清洗來自各個數據源的數據。當數據源的數據發生變化時,同樣的數據質量清洗操作也需要進行。市場上有很多數據質量和數據概況分析工具可以為我們提供幫助。對于一些特殊類型的主數據實體,也有特殊的工具可以幫助我們進行數據處理,如地址模式匹配,對產品進行語義分析等。
第三個挑戰是由于主數據發生變化而引起的。就像主數據模型需要保持靈活性來接受新的主數據屬性一樣,MDM應用也必須具有處理復雜變化的能力,這種變化不光包括數據內容的變化,還包括數據的層級結構、數據之間的關聯關系以及在數據之間建立新業務規則等內容的變化。變化是不可避免的,因此,當我們選擇一個MDM技術時,要確定當發生變化時,這個技術的處理不應該很復雜。
第四個挑戰是如何將SOE從操作型系統中遷移到MDM系統中,這需要同時面對文化和技術上的挑戰。技術上的挑戰是要保證將SOE從操作型系統遷移到MDM的過程要順暢,不要出現各種問題。當越來越多的SOE遷移到MDM環境時,相應的操作型系統中的錄入功能要禁止掉,否則會出現重復錄入的問題。如果一個SOR不能遷移到MDM系統中,要保證有一個簡單的方式將外部的主數據遷移入MDM系統中,來保證SOR是最新的。
MDM面臨的第五個挑戰是對標識的管理,尤其是對客戶主數據來說。因為客戶可能是全球范圍的,客戶之間有著復雜的關聯關系,而且這些關聯關系還在不斷的變化中。MDM環境必須能夠建立對這些客戶建立唯一的標識來適應這種復雜的情況。在很多情況下,這也是文化上的問題。企業必須能夠同意建立這些全球內唯一的標識來鑒別不同的客戶,這樣才能確保MDM維護主數據的更新和變化的功能。
MDM面臨的最后一個挑戰是關于MDM整個基礎結構的挑戰。不論MDM這個概念是新的還是舊的,都需要一套技術體系來支撐它。有很多公司都建立了部分的或者不完善的MDM解決方案。這些對供應商來說也許是好事。這些供應商一般會關注于MDM環境中的某個特定技術,對此進行研究和開發,例如進行數據質量管理等。所以,這些供應商一般都是對MDM的某個一個特定部分可以提供完善的解決方案。而企業必須要保證這些不同供應商提供的技術可以整合成一套完善的MDM基礎機構。而且,由于在MDM環境中包含了大量的、復雜的、分散的數據環境和系統,這就使得MDM解決方案能提供通用的主數據整合基礎結構變得至關重要。這個MDM基礎結構必須要和企業的數據整合策略及方案保持一致。
有些供應商會提供包含MDM環境各個部分的完善的解決方案。在很多案例中,這些供應商都合并或者收購了提供專門技術的公司,來組成完整的解決方案。這些完整的解決方案不一定在每一個環節都是最好的,他們的優勢在于可以減少由于供應商的不同而產生的數據接口和數據交互。企業需要自己來決定什么樣的解決方案是適合自己的。
MDM對傳統IT環境的影響
在傳統的IT環境中,主數據是分散到不同的業務處理應用中的。使用數據聯邦技術可以創建主數據的一個虛擬視圖。當前的主數據可以被合并到ODS之中,或者合并入數據倉庫之中,作為分析的基礎。
在傳統的IT環境中增加一個主數據標識登記系統并不會影響主數據在企業內的流轉方式。通過主數據的全局標識及數據聯邦技術可以使位于不同業務系統中的操作型主數據互相關聯。這些主數據的全局標識也可以保存在ODS之中或者數據倉庫之中,這樣可以使主數據的訪問變得簡單一些。
建立一個主數據整合中心可以增強傳統處理中的主數據傳播能力,主數據整合中心會將變化的主數據在操作型業務處理應用中傳播。一個主數據整合中心的建立也會對ODS的設計產生影響。主數據存儲在整合中心中,剩下的事務數據存儲在ODS之中。主數據整合中心和ODS一起將歷史數據傳播到數據倉庫之中。
企業主數據管理對企業內主數據流動的影響相當的大,因為企業主數據管理將當前的及歷史的主數據都維護在主數據存儲(MDS)之中。這就意味著主數據不再需要維護在ODS或者數據倉庫之中。MDS就可以用來為數據倉庫信息處理提供維度數據。MDS中存儲的歷史主數據可以為進行當前信息和歷史信息比較的BI應用提供數據。舉例來說,MDS中保存的歷史主數據可以支持按照2015年的銷售區域劃分來對比分析2015年及2016年的銷售情況,盡管在2016年已經將銷售區域進行了重新劃分。在財務報告中,這種分析能力尤其有用。
企業MDM也可以針對數據倉庫中信息提供主數據變化的模型,通過這個模型可以預測主數據變化對業務操作系統的影響。
關于MDM的誤解
由于MDM是一個相對較新的領域,業內對于MDM是什么、在企業內應該如何來實現等問題有一些不同的觀點。下面列出了我們在研究中遇到的一些關于MDM的誤解:
MDM是一個數據倉庫或商業智能項目
這是不正確的,MDM既不是BI/DW項目,也不是操作型項目。MDM是另一類實現方式,它的建立對前面的兩種環境都很有利。MDM可以使用操作型環境作為自己的數據源,但是一旦數據被清洗、整合、加載入MDM知識庫后,這些數據就成為數據倉庫、ODS、數據集市等的數據源或者SOR。
·MDM僅僅為了維護企業內業務處理應用中數據的一致性。
這也是不正確的。當然主數據可以維護這些系統中數據的一致性,但是它的作用不僅僅如此。作為SOR,主數據知識庫可以作為各種系統、應用和環境的標準數據源。
·MDM只是另一個數據整合項目。
這是不正確的,MDM項目除了數據整合之外,還需要業務用戶的參與并制定MDM的原則和政策等內容。MDM功能是全企業的事情,企業內的每一個應用都會和主數據的設計、配置和使用有關。數據專員和數據管理員都需要進入MDM項目之中,來解決全企業的主數據統一視圖的問題。
·MDM整合并管理了所有的企業數據
這是不正確的。MDM僅為核心業務實體提供SOR。其他的事務數據必須被維護到其他地方,如操作型系統、ODS或者具有混合負載的數據倉庫環境中。