這一狀況是如何形成的
要理解這種預(yù)期的不協(xié)調(diào),要先看看我們是如何走到一這步的。在90年代,數(shù)據(jù)倉(cāng)庫(kù)運(yùn)動(dòng)的主要目標(biāo)是通過解決單一版本的事實(shí)滿足機(jī)構(gòu)的需求。
這需要仔細(xì)調(diào)和不同用戶和部門之間對(duì)數(shù)據(jù)的解釋,以至于每個(gè)人都可以達(dá)成共識(shí)。此外,有嚴(yán)格的數(shù)據(jù)質(zhì)量檢查,所以決策者對(duì)數(shù)據(jù)有信心。
因?yàn)榇笠?guī)模并行處理解決方案(比如Hadoop和列式數(shù)據(jù)存儲(chǔ)或云)在90年代并不普遍,數(shù)據(jù)模型必須由專家進(jìn)行設(shè)計(jì),優(yōu)化和維護(hù)以獲得良好表現(xiàn)。
這些因素阻礙了讓新類型的數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù),并經(jīng)常導(dǎo)致昂貴,多年的程序,最終只有非常有限的效用。
今天,對(duì)單一版本企業(yè)級(jí)數(shù)據(jù)的需要不再是存儲(chǔ)歷史數(shù)據(jù)的主要目標(biāo)。用戶想要完全訪問所有數(shù)據(jù)并與之交互的能力,能夠快速提取洞察并釋放數(shù)據(jù)的威力。
為了達(dá)到這個(gè)目標(biāo),政府的數(shù)據(jù)管理工作的焦點(diǎn)需要從數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)移到數(shù)據(jù)管理。
超越數(shù)據(jù)倉(cāng)庫(kù)
在我們當(dāng)前的大數(shù)據(jù)的時(shí)代,單一企業(yè)的數(shù)據(jù)解釋已經(jīng)過時(shí)。舊的數(shù)據(jù)倉(cāng)庫(kù)時(shí)代專注于企業(yè)數(shù)據(jù)模型對(duì)數(shù)據(jù)屬性創(chuàng)建固定的意義。數(shù)據(jù)倉(cāng)庫(kù)用戶直接根據(jù)自己部門的需求過濾數(shù)據(jù)。
今天,在私營(yíng)和政府部門預(yù)測(cè)分析的用途不斷得到證明,我們必須重新審視企業(yè)的傳統(tǒng)數(shù)據(jù)模型。
具體地說,我們應(yīng)該接受使用模式,預(yù)測(cè)能力和數(shù)據(jù)屬性的意義可以進(jìn)化,隨著機(jī)構(gòu)在挖掘其數(shù)據(jù)變得更加成熟,在其領(lǐng)域部署預(yù)測(cè)模型并反饋性能結(jié)果完善模型,同時(shí)機(jī)構(gòu)外部的事情也會(huì)影響其優(yōu)先級(jí)。重要的區(qū)別如何使用數(shù)據(jù)。
數(shù)據(jù)管理的區(qū)別
數(shù)據(jù)管理不同于傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)。一個(gè)監(jiān)管的數(shù)據(jù)存儲(chǔ)是對(duì)數(shù)據(jù)用戶的平臺(tái),它不必告訴用戶如何使用或解釋數(shù)據(jù)。數(shù)據(jù)用戶使這些數(shù)據(jù)變得更有價(jià)值和有意義,例如,利用統(tǒng)計(jì)學(xué)習(xí)技術(shù)預(yù)測(cè)欺詐、不合規(guī)或病毒爆發(fā)等新興趨勢(shì)。
數(shù)據(jù)屬性的重要性和意義是由多個(gè)使用數(shù)據(jù)的模型的預(yù)測(cè)能力所決定的,而這些“意義”可以反饋到監(jiān)管的數(shù)據(jù)存儲(chǔ),因此它可以成為共享的企業(yè)資產(chǎn)。
這一過程使中央權(quán)威(又名數(shù)據(jù)管理員)不必是唯一的仲裁者或監(jiān)管數(shù)據(jù)的瓶頸,這非常不同于90年代的傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)生命周期。
政府可以從這些數(shù)據(jù)倉(cāng)庫(kù)經(jīng)驗(yàn)和90年代的問題中學(xué)習(xí),包括技術(shù)所扮演的角色。當(dāng)時(shí),很難引入新的數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù),并讓大型數(shù)據(jù)庫(kù)在實(shí)時(shí)分析中表現(xiàn)良好。
盡管今天的技術(shù)減少了對(duì)數(shù)據(jù)模型精細(xì)調(diào)整的需要,我們卻不能簡(jiǎn)單地扔掉數(shù)據(jù)建模和創(chuàng)建一個(gè)數(shù)據(jù)湖。正如有許多專家指出,數(shù)據(jù)湖可以迅速變成一個(gè)數(shù)據(jù)沼澤。這就是為什么數(shù)據(jù)管理是必要和重要的。
從數(shù)據(jù)倉(cāng)庫(kù)過渡到管理還包括用戶行為的變化。當(dāng)監(jiān)管數(shù)據(jù)呈現(xiàn)給用戶時(shí),對(duì)它們的預(yù)期會(huì)更多,而不僅僅是過濾的罐裝報(bào)告。
數(shù)據(jù)管理歸結(jié)為提供現(xiàn)成的數(shù)據(jù)。即用戶知道數(shù)據(jù)元素的意思,他們從哪里來的,如何探索和挖掘它們,以及如何形成可行的洞察。讓用戶有能力和自由即時(shí)探索需要在用戶和監(jiān)管數(shù)據(jù)平臺(tái)的維護(hù)者之間有不同的交往模式。
雙方都需要新的技能。IT需要構(gòu)建專業(yè)知識(shí)使數(shù)據(jù)以用戶友好的方式獲得——是明顯不同于交付用戶友好的應(yīng)用程序和網(wǎng)站的專業(yè)知識(shí)。用戶需要獲得技能用更現(xiàn)代的方式與數(shù)據(jù)交互。用戶需要比標(biāo)準(zhǔn)“工具培訓(xùn)”更多的學(xué)習(xí)。IT和用戶需要體驗(yàn)現(xiàn)代數(shù)據(jù)挖掘和數(shù)據(jù)開采工具結(jié)合在一起的威力,在他們機(jī)構(gòu)設(shè)置的數(shù)據(jù)。
這樣做會(huì)讓IT有信心從創(chuàng)造完全規(guī)范的獨(dú)立應(yīng)用程序轉(zhuǎn)而創(chuàng)建數(shù)據(jù)平臺(tái),而用戶反過來會(huì)降低他們對(duì)昂貴的用例特定應(yīng)用程序的胃口。
這種業(yè)務(wù)和IT之間關(guān)系的改變是唯一使預(yù)測(cè)分析變得民主化并幫助使政府更迅速和更有效地應(yīng)對(duì)挑戰(zhàn)的方式。