如今,數據已經滲透到每個行業和業務職能領域,成為重要的生產因素。人們對于海量數據的挖掘和運用,預示著新一波生產率增長和消費者浪潮的到來,整個世界已經迎來了大數據時代。2012年調查結果顯示,到2020年,人類產生的數據總量將達到40ZB,全世界所產生的數據規模將達到今天的44倍。在數據驅動的信息化時代,企業只有將核心業務數據更好地掌握在手中,才能從中萃取更大的業務價值,進而優化品牌管理,打開市場新渠道,打造企業核心競爭力,而主數據管理(Master Data Management,簡稱MDM)就是挖掘這些價值的重要手段和工具。
主數據管理日趨重要
主數據管理其實在很早之前就已經存在,但對于國內許多企業用戶來講,它仍然是個比較陌生的名詞,本文將引領大家走近主數據管理。
主數據用來描述企業核心業務實體,是在整個企業范圍內的各個操作型應用系統(OLTP)和分析型應用系統(OLAP)間需要共享的數據,也是企業內部能夠跨業務、跨系統重復使用的高價值數據,其特點是基于業務、長生命周期、跨系統使用。需要注意的是,主數據并不是企業內所有的業務數據,而是有必要在各個系統間共享的數據才是主數據。比如大部分的交易數據、賬單數據等都不是主數據。涵蓋資源、產品、事件、客戶、財務、賬戶、員工、合作伙伴等,用于描述核心業務實體的數據才是主數據。因此,對主數據的識別,要把握主數據作為業務運作核心的本質。這些主數據在進行主數據管理之前經常存在于多個異構或同構系統中。
主數據管理是指一組規程、技術和解決方案,用來保證業務數據在企業范圍內的一致性、完整性、相關性和精確性。簡單地說,主數據管理可以幫助企業從分散的業務系統中整合最核心的、最需要共享的數據(主數據),集中進行數據的清洗和豐富,然后以服務的方式把統一的、完整的、準確的、具有權威性的主數據分發給全企業范圍內需要使用這些數據的系統或應用。主數據管理也可以作為一個企業的數據標準,強化對各業務系統的共性數據實體和模型的管理,避免出現大的業務概念不一致,降低應用孤島、數據孤島出現的幾率,從根本上保證系統之間能實現數據的較好共享,增強了各系統在企業層面的互動,從而提高企業運營效益,提高數據質量,更好地為企業信息集成做好鋪墊。
現今,隨著大數據洪水的迅猛到來,企業深刻意識到核心數據資源的價值。核心數據資源具有稀缺性和差異性,勢必成為企業的一大競爭優勢。
主數據管理給企業所帶來的價值有三大方面。
1.與大數據相得益彰
主數據和大數據的核心都是數據,但它們的關注點有所不同。大數據關注數據的體量和類型,而主數據則更關注數據的質量;大數據提供了更多的原材料,而主數據側重于數據的組織。企業應以主數據為中心,通過主數據把各類大數據有效串聯起來,從而獲得更好數據應用效果和價值。
2.多方面業務價值
主數據管理讓企業將擁有統一的主數據訪問接口,擁有集中的且內容豐富和干凈的數據中心,能夠為各業務部門提供一致、完整的共享信息平臺,為業務流程和經營決策提供了一個可靠的支撐載體。
3.增強IT建設靈活性
主數據管理可以增強IT結構的靈活性,構建覆蓋整個企業范圍內的數據管理基礎和相應規范,并且更靈活地適應企業業務需求的變化,同時,降低接口成本、數據清洗和維護成本等,幫助企業遠離高成本和高風險。
主數據管理的規劃實施
1.構建主數據管理的解決方案
雖然企業越來越看到主數據的價值,但往往不知從何下手,如何實施。為保證企業能夠有條不紊地實施項目,建議企業根據規劃方法論,分階段、分步驟開展工作。比如Informatica MDM產品解決方案,它把主數據生命周期劃分為9個階段。
● 訪問:了解主數據的來源、現狀,實現不同數據源和應用程序的數據集成方案,這是主數據獲取的入口。
● 發現:探查數據內容、結構和異常,分析數據的優勢和劣勢,一個關鍵目標就是明確指出數據錯誤和問題。
● 建模:建立正確、靈活的MDM業務及數據模型,可以有效面對未來的變化和挑戰,模型是項目走向成功的一個重要里程碑。
● 清洗:對于各系統數據出現不一致的定義及使用方式時,需要解決錯誤和矛盾之處,創建正確、完整的主數據。
● 識別:快速匹配,準確識別重復數據并預防重復發生。
● 解決:合并重復數據,創建可信的唯一真實版本。
● 關聯:實現與合作伙伴系統、第三方軟件、外部產品的廣泛數據連接。
● 治理:創建、使用、管理和監控主數據,保證可對數據問題進行跟蹤,同時保證長期滿足數據質量預期。
● 交付:以服務的方式把統一、完整、準確的主數據分發給企業范圍內需要使用這些數據的業務系統、業務流程和決策支持系統。
這是一個循環往復的過程,當有新的主數據出現或經過幾大階段治理后的主數據仍未達到質量要求時,主數據管理都會進入下一輪循環。數據治理的過程貫穿于整個生命周期,體現了主數據對于數據質量的管控作用。
2.實施過程中應注意的問題
1)主數據管理不是一個單純的技術項目
主數據管理常常被誤解為一個單純的技術問題,而實際上企業采用主數據方案最重要的不是技術準備,而是業務準備。企業在上馬項目時,首先要先考慮清楚項目所要達到的目的、目標和愿景。在企業內部貫徹實施統一的數據標準化,需要文化、制度、業務、流程等全方位的配合和改造,需要業務部門之間的溝通和協調,需要企業高層、行業專家、領域專家以及業務人員的認同和參與。也就是說,主數據管理實質上是個管理問題。
2)主數據管理是一個持續建設的過程
主數據問題很難一次性解決,因而造成項目復雜度高、工期長、耗費大的問題,建設前期對于企業來說感知不明顯,容易遭到質疑。因此建議企業采取漸進的方式來建設,先基礎、后深化,先局部、后覆蓋,這樣讓企業逐步嘗到主數據帶來的甜頭。第一期項目可以從小規模入手(比如選擇一個業務領域),一個業務領域成功會帶動更多業務領域參與,前期的成功會成為后續實施的推升動力。
3)模型設計是基石
企業的業務需求不會是一成不變的,隨著外部因素(如市場環境的變化、產業的更新換代)、內部因素(如經營模式的轉變、組織架構的優化)的變化和影響,系統將面對更多適應性和可柔性方面的挑戰。因而,對于主數據模型的設計者來說,必須要建立一個靈活的模型,特別是對未來更多類型主數據的支持,當一些變化發生時,不能對以后的模型產生較大的沖擊和影響。成功的項目不僅能夠解決現在的業務需求,還要能夠滿足未來的需求。
主數據管理的發展趨勢
1.與新技術發展趨勢相結合
云計算、社交計算和移動計算三大技術趨勢正在驅動大數據不可阻擋的增長態勢。目前,一些主流MDM軟件可以針對云中數據、社交數據、移動數據等不同類型的數據進行有效管理。在未來,支持不同移動終端接入,采用云中部署、混合部署等新模式的主數據管理多域部署情況將更加普遍。
通過云計算MDM,有效解決云中分散數據碎片化現象,保持數據凈化狀態;保證跨越云及內部應用的數據整合,無論是在云端還是在本地,都可以帶來完整、可信的客戶交互及主數據關系視角。
通過社交MDM,解決跨越多個社交媒體間客戶識別問題,創建出統一的客戶社交資料,挖掘客戶的社交網絡以及喜好,從而更有效地進行針對性營銷,以及為零售商、生產商、服務提供商等提供目標客戶推薦服務,以此形成更為緊密、更具盈利性的客戶關系。
通過移動MDM,提供隨時隨地接入的客戶交易數據、社交數據及主數據。將清晰、完整、可信的客戶資料與移動設備的位置服務相結合,為銷售人員及服務人員提供指定位置的客戶信息。
2.為大數據插上飛翔的翅膀
未來,MDM平臺將逐步實現與大數據的無縫集成,為大數據提供一系列全面、先進、成熟的數據管理解決方案,為企業用戶迎接“集成化的大數據時代”做好了準備。
提升企業數據的集成和管理能力,將數據集成擴展到社交媒體數據、網絡日志、傳感器設備數據、文檔、電子郵件、其他無編碼格式的多結構化或非結構化數據,顯著減少浪費在垃圾資料的時間,有效降低大數據開發、維護成本。
實現從傳統數據架構平臺擴展到Hadoop,把Hadoop技術通過一種透明的方式呈現給用戶,企業將不再需要復雜的手動編碼來實現Hadoop的性能和成本優勢。這不僅幫助企業更輕松地管理和支持多個大數據項目,確保最佳的端到端性能和部署,還可以使數據便捷地在 Hadoop環境或傳統網格計算環境中運行。
引入了內存處理的能力,數據處理性能更快。所謂“內存處理”,就是把主數據的處理操作從傳統的數據庫遷移到內存計算,有望實現最高上達百倍的能力提升,實現在大數據中快速解決個體識別問題,高效完成大批量數據清洗。同時大幅降低了客戶的硬件部署成本,以更佳的成本效益方式提升大數據項目的投資回報。
結束語
近幾年來,中國電信在集團企業信息化戰略規劃(ITSP)的指引下,根據企業目標和通用業務規律,統一企業數據模型(EDM),建立參與人、產品、賬務、市場營銷、事件、地域、資源和財務等八大主數據域,從而逐步統一企業內數據標準,為從根本上解決企業數據分散重復、口徑不一致、共享困難造成的信息孤島等問題奠定堅實的基礎,推動企業內各類信息系統的整合和數據的共享,全面提升經營決策、運營管理、業務拓展和客戶服務等方面的支撐能力。
在全新的數據時代,大數據的核心問題不是數量大,而是質量高。把主數據管理解決方案作為大數據背景下的企業數據治理和提升數據質量的工具,可以確保核心數據的質量和真實性,企業可以更好地洞悉業務數據中所隱藏的價值,真正把大數據轉化為大機遇。