大數據時代,我們要擁抱數據指數級增長的變化,要隨著這種快速變化而不斷創新。
1月17日,在中國優秀CIO評選頒獎現場,阿里巴巴數據治理團隊獲得了“2014年度中國最佳信息化團隊”稱號。現場有不少人疑惑,為什么數據治理可以拿這個獎?以前的銀行業、通信業不是早就在做數據管理了嗎?
的確,數據管理data management并不是一個新鮮的詞,幾十年前就有人在做了。但為什么阿里的數據治理還可以拿這個獎?這是因為,今時已不同往日,現在的數據也已然不是當初的小數據的量值了。以社交網站facebook為例,他們的日均新增數據量就達到了600T。這若放在幾十年,根本是不敢想象的。所以,在數據指數級增長的大背景之下,無數以往不可能出現的算法和應用,也隨之指數型態發展。數據在創新、算法也在創新,更多創新應用的出現,讓我們思考,以往的數據管理思路,能適應新形勢下的要求嗎?
以前,在某個老牌銀行里面,如果你需要看某個數據,需要拿著紙找一堆人簽字,最后,會從一個類似醫院取藥的窗口中,將按照流程簽滿字的紙遞給數據管理員。而這個管理員,則會告訴你,你要等幾個小時才可以拿到數據。因為在這個小時當中,他要從一大堆備份中,找出你要的數據,先加載完后再給你。這是傳統的數據管理方式,嚴格按照自上而下的流程進行,只要做到滴水不漏就是完美。后來,這個銀行發生了一個對他們來說具有時代意義的改進——那個幫你找數據的管理員,變成了機器人,效率也有了很大提高。但管理的本質,卻沒有變化。
在大數據時代,數據將會促成新的技術發展,以及更多新數據的產生。開放的網絡環境、個人隱私及數據更新頻率加快,數據品類豐富,數據保護的需求激增,數據生態圈的物種增多以及流動性加快……這些復雜、多變又未知的環境,對于數據治理來說,都是極大挑戰。想象一下,如果還是按照以往那樣管理數據,會出現什么樣的情形?也許,審批的審批人會比數據的使用者還要多;也許,數據的創新會停滯;也許,數據的應用價值會比現在晚幾年才被發現……
我們需要意識到,數據治理不等同于數據管理,絕非依靠自上而下的貫徹執行就可以解決。相反,而是需要每個人的參與和協同,每個人都有意識去治理好數據,并且這個數據治理是可以變成原材料,成為更多應用創新的“水電煤”。
我以前提到過,在面試的時候,我通常會問面試者“如果你是某企業分析師,你要給CEO看上周的數據,你會選哪三個指標?”這三個指標并不重要,重要的是它是否能回答當前的問題,產生它應有的價值。而在數據產生價值之前,不管是用數據來看還是直接應用,首先都要注意到:數據有沒有,數據準不準,粒度細不細,是不是穩定的?如果你給CEO的數據都是錯誤的,或者不是穩定產出的,今天有明天就沒有了,這對于一個企業要做決策的話,是極大的短板。光靠以往的管住,是無法解決問題的。
今年,阿里的數據團隊開始在數據治理上發力創新,也正是因為比別人早一步看到,企業如果不做數據治理,或者按照以往的思維來管數據,那么,以后對數據用得越深對數據越依賴,就有可能死得越快。這種創新,不僅僅是指組織結構上,從原來的topdown形式變成了全體協同;而且要在技術上也有創新,提供更人工智能的治理工具,幫助大家提高數據質量,保護數據安全,有效控制數據成本。
大數據時代的數據治理,一定是將有形的管理策略化成無形的智能產品,從一紙命令變成每個人根植在腦中的信念和下意識的習慣,要用大數據的思維方式,用數據來治理數據。