問題:為什么傳統(tǒng)BI沒有達(dá)到今天互聯(lián)網(wǎng)數(shù)據(jù)應(yīng)用的高度呢?
在之前的傳統(tǒng)BI可能因?yàn)檫@些因素,所以沒有達(dá)到今天的數(shù)據(jù)在高度,可能是互聯(lián)網(wǎng)本身發(fā)展的因素,數(shù)據(jù)對(duì)于互聯(lián)網(wǎng)企業(yè)價(jià)值。但其中有一個(gè)很大的因素,可能是傳統(tǒng)的BI,更多是偏重?cái)?shù)據(jù)倉庫的架構(gòu),根據(jù)需求來幫報(bào)表。在數(shù)據(jù)部門沒有一批主動(dòng)去思考業(yè)務(wù),思考業(yè)務(wù)與數(shù)據(jù)關(guān)系的人。這種人很可能都是在業(yè)務(wù)方,他們更多把業(yè)務(wù)問題轉(zhuǎn)為要看的報(bào)表,然后與數(shù)據(jù)部門溝通報(bào)表開發(fā),數(shù)據(jù)部門收集需求溝通后,進(jìn)行排期,進(jìn)入比較慢長的等待期。
在一個(gè)企業(yè)中,可能數(shù)據(jù)部門在一個(gè)公司中組織架構(gòu)中的位置,決定了部門的定位和一些做的事情,所以個(gè)人認(rèn)為數(shù)據(jù)部門所處的組織架構(gòu)對(duì)數(shù)據(jù)價(jià)值實(shí)現(xiàn)是一個(gè)很重要因素。這也是今天我也來談一談的主題。
我先把數(shù)據(jù)部門分成二個(gè)部門:一個(gè)我們就叫前端,例如:數(shù)據(jù)分析,數(shù)據(jù)挖掘,數(shù)據(jù)產(chǎn)品等;一個(gè)我們叫后端:數(shù)據(jù)倉庫,大數(shù)據(jù)平臺(tái)等;
第一種形式,分散式
數(shù)據(jù)平臺(tái)由技術(shù)部建設(shè),技術(shù)沒有數(shù)據(jù)分析/業(yè)務(wù)分析人員;這部分人員都分到各個(gè)業(yè)務(wù)塊中。
技術(shù)部負(fù)責(zé)搭建大數(shù)據(jù)平臺(tái)(在傳統(tǒng)主要叫數(shù)據(jù)倉庫)
目前大數(shù)據(jù)平臺(tái),如果比較大型的公司基本上會(huì)包括幾塊內(nèi)容:
分布式:hadoop 平臺(tái);實(shí)時(shí)計(jì)算: storm平臺(tái)內(nèi)存計(jì)算:spark 平臺(tái)傳統(tǒng)關(guān)系數(shù)據(jù)庫業(yè)務(wù)分析人員怎么得到數(shù)據(jù):
方式一:向數(shù)據(jù)平臺(tái)接口人提需求,在傳統(tǒng)的BI部門中一定會(huì)有一種叫:需求分析/數(shù)據(jù)PD這種角度;這種角度就是把業(yè)務(wù)方的進(jìn)行轉(zhuǎn)化,轉(zhuǎn)為PRD文檔,讓ETL開發(fā)工程師,報(bào)表開發(fā)工程師實(shí)現(xiàn) ?!緲I(yè)務(wù)人員是沒有訪問數(shù)據(jù)倉庫的權(quán)限的】
方式二:當(dāng)一些業(yè)務(wù)方比較強(qiáng)勢,或者對(duì)響應(yīng)速度比較有意見的時(shí)候,可能會(huì)開放所有或者部分給業(yè)務(wù)人員進(jìn)行去訪問,業(yè)務(wù)可以自己去寫SQL去取數(shù)據(jù)。
這種在一些業(yè)務(wù)變化不快,或者業(yè)務(wù)相對(duì)不那么復(fù)雜的公司可能比較好。但是如果是一些業(yè)務(wù)復(fù)雜,業(yè)務(wù)變化非??斓目赡芫筒贿m合。為什么?
數(shù)據(jù)平臺(tái)/倉庫建議跟不上業(yè)務(wù)變化。造成數(shù)據(jù)倉庫效率低,數(shù)據(jù)口徑混亂。因?yàn)閿?shù)據(jù)倉庫架構(gòu)離業(yè)務(wù)比較遠(yuǎn),對(duì)業(yè)務(wù)理解不深。業(yè)務(wù)數(shù)據(jù)分析師很多人的知識(shí)不能很有效沉淀下來。這會(huì)導(dǎo)致業(yè)務(wù)要求為各個(gè)業(yè)務(wù)建議自己 “數(shù)據(jù)集市”,當(dāng)這種數(shù)據(jù)集市我的時(shí)候,又會(huì)造成數(shù)據(jù)倉庫負(fù)擔(dān)中,各個(gè)業(yè)務(wù)方的數(shù)據(jù)“各大自為政”。
最終公司數(shù)據(jù)混亂,后面大家對(duì)數(shù)據(jù)都搖頭。
第二種形式,集權(quán)式
就是公司所有的數(shù)據(jù)相關(guān)都?xì)w到一個(gè)部門中。業(yè)務(wù)方有任何需要都會(huì)向數(shù)據(jù)部門提出,數(shù)據(jù)部門會(huì)在內(nèi)部對(duì)這些需求和報(bào)表進(jìn)行溝通,避免重復(fù)開發(fā),也便于對(duì)需求進(jìn)行總結(jié)。
這種架構(gòu)的好處是,所有的數(shù)據(jù)都是一個(gè)部門出,相對(duì)來說數(shù)據(jù)的口徑會(huì)比較統(tǒng)一;
這個(gè)架構(gòu)的壞處,如果部門組織的不好。會(huì)造成數(shù)據(jù)部門離業(yè)務(wù)比較遠(yuǎn) ;有時(shí)候?qū)τ跀?shù)據(jù)的思考不夠深入,造成與業(yè)務(wù)部門的溝通成本上升。同時(shí)會(huì)存在技術(shù)部的對(duì)于數(shù)據(jù)最底層平臺(tái)建設(shè)的分工,造成與技術(shù)部存在一定溝通成本。
第三種:混合式
大數(shù)據(jù)平臺(tái)建設(shè)由技術(shù)負(fù)責(zé),他們核心是把數(shù)據(jù)平臺(tái)建設(shè)的足夠強(qiáng)大。
有一個(gè)比較大的數(shù)據(jù)部門,負(fù)責(zé)數(shù)據(jù)分析,挖掘,數(shù)據(jù)統(tǒng)一工作。一般來說這個(gè)部門會(huì)直接像管理層匯報(bào),主要服務(wù)公司管理層;同時(shí)也會(huì)和業(yè)務(wù)方的數(shù)據(jù)分析師合作一起解決某個(gè)具體問題。
在業(yè)務(wù)方也會(huì)有自己的小數(shù)據(jù)分析團(tuán)隊(duì)。這個(gè)數(shù)據(jù)團(tuán)隊(duì)主要服務(wù)由自己這個(gè)業(yè)務(wù)團(tuán)隊(duì),同時(shí)也會(huì)和公司的數(shù)據(jù)部門有溝通和合作。【有的公司會(huì)向業(yè)務(wù)團(tuán)隊(duì)開放數(shù)據(jù)訪問權(quán)限,有的可能還是需要他們通過前端的報(bào)表獲取數(shù)據(jù)】
在這種情況下,可能存在主要問題是會(huì)"搶"活干。
每個(gè)方式都有各自的優(yōu)點(diǎn)與缺點(diǎn),沒有對(duì)與錯(cuò)之分;還是要結(jié)合公司具體的業(yè)務(wù)情況,公司規(guī)模等來決定,如果一個(gè)公司的數(shù)據(jù)部門從小公司發(fā)展到大公司過程中組織架構(gòu)都沒有什么變化,可能這不是一個(gè)適合有想法的數(shù)據(jù)人去的公司。哈哈
我個(gè)人觀點(diǎn)是:小公司適合分散式;公司發(fā)展中間階段:合適集權(quán)式;公司大的時(shí)候合適:混合式;