中國(guó)新一代IT產(chǎn)業(yè)推進(jìn)聯(lián)盟技術(shù)分委會(huì)秘書(shū)長(zhǎng)、
首席數(shù)據(jù)官聯(lián)盟發(fā)起人、北京萬(wàn)山數(shù)據(jù)首席架構(gòu)師魯四海
大數(shù)據(jù)應(yīng)用有兩個(gè)場(chǎng)景，AI與 BI。兩者都是通對(duì)數(shù)據(jù)的感知、理解、挖掘，然后形成決策支持，最終反饋到“行動(dòng)”中去；只不過(guò)AI對(duì)行動(dòng)的“影響”是自動(dòng)化的。不管是AI還是BI，都需要大數(shù)據(jù)回答我們這幾個(gè)問(wèn)題：過(guò)去發(fā)生了什么，現(xiàn)在正在發(fā)生什么，為什么發(fā)生，將來(lái)要發(fā)生什么。而這些又都是通過(guò)透視業(yè)務(wù)活動(dòng)中產(chǎn)生的數(shù)據(jù)得到的。舉例來(lái)說(shuō)，未來(lái)的商業(yè)，誰(shuí)能更多的搜集業(yè)務(wù)過(guò)程中的數(shù)據(jù)并加之有效分析挖掘，誰(shuí)就占得先機(jī)；誰(shuí)在產(chǎn)品運(yùn)行過(guò)程記錄了更多的數(shù)據(jù)，結(jié)合機(jī)器學(xué)習(xí)等技術(shù)進(jìn)行深度挖掘，誰(shuí)的產(chǎn)品就更有優(yōu)勢(shì)。
不難看出，大數(shù)據(jù)核心環(huán)節(jié)是數(shù)據(jù)理解、挖掘。對(duì)于政務(wù)大數(shù)據(jù)平臺(tái)來(lái)說(shuō)，除了考慮系統(tǒng)管理人員、政務(wù)管理人員兩類(lèi)用戶(hù)外，更多得需要考慮數(shù)據(jù)分析人員的訴求。大數(shù)據(jù)平臺(tái)的魅力所在是讓分析人員便捷的進(jìn)行數(shù)據(jù)挖掘。如果分析人員不能自主的進(jìn)行數(shù)據(jù)挖掘，那么數(shù)據(jù)的價(jià)值、大數(shù)據(jù)平臺(tái)的價(jià)值都將大打折扣。
下面我們舉個(gè)例子來(lái)說(shuō)，數(shù)據(jù)挖掘和數(shù)據(jù)分析人員在整個(gè)大數(shù)據(jù)利用過(guò)程中的重要性。魚(yú)腥草，在我家鄉(xiāng)有很多野生的，想吃的時(shí)候拿把鋤頭上山，很快就能背一背簍回去。但這確實(shí)是一個(gè)好東西，可以煮湯當(dāng)茶水喝清熱解暑，可以做成美味的涼菜，加到調(diào)料里更是別有一翻風(fēng)味，還可以做成藥品治病。我想說(shuō)，這東西長(zhǎng)在山上的時(shí)候毫不起眼，經(jīng)過(guò)不同的工藝加工后，就完成不一樣了。正如數(shù)據(jù)本身是沒(méi)有“價(jià)值”的，只有經(jīng)過(guò)不同角度的分析挖掘，反饋到不同的“行動(dòng)”中去，才能將其價(jià)值發(fā)掘出來(lái)。
電子商務(wù)大數(shù)據(jù)開(kāi)放實(shí)驗(yàn)室由北大CIIM中心和瀘州電商產(chǎn)業(yè)園共建，很重要的一項(xiàng)功能就是提供一個(gè)能讓分析師自助分析大數(shù)據(jù)平臺(tái)，讓分析師從不同的角度進(jìn)行數(shù)據(jù)挖掘，為政府提供決策支持，為產(chǎn)業(yè)發(fā)展提供數(shù)據(jù)支撐，為傳統(tǒng)行業(yè)轉(zhuǎn)型提供建議。
在瀘州白酒行業(yè)存在很大一批OEM廠商，由于供應(yīng)鏈和品牌廠商的影響，轉(zhuǎn)型壓力巨大，也有不少想發(fā)展電商，但找不著好的路徑和標(biāo)桿，從這次的數(shù)據(jù)分析中就能看到如果有一定品牌知名度，洋河是一種不錯(cuò)的發(fā)展方式，如果從零拓展一個(gè)品牌，那么江小白無(wú)疑是值得學(xué)習(xí)的。
我們對(duì)互聯(lián)網(wǎng)銷(xiāo)售的白酒的酒精度分布進(jìn)行分析，發(fā)現(xiàn)35度以下的酒呈明顯的上升態(tài)勢(shì)，這是為什么呢，通過(guò)對(duì)用戶(hù)數(shù)據(jù)進(jìn)行分析后發(fā)現(xiàn)，電商酒類(lèi)消費(fèi)者女性用戶(hù)和85、90后用戶(hù)越來(lái)越多。對(duì)于企業(yè)來(lái)講就意味著市場(chǎng)需求要發(fā)生變化，產(chǎn)品要做出相應(yīng)的調(diào)整。
對(duì)用戶(hù)評(píng)論進(jìn)行分析，我們發(fā)現(xiàn)影響用戶(hù)體驗(yàn)最主要的三大因素是：真假、價(jià)格、包裝，做電商產(chǎn)品，這幾個(gè)方面的的保障，也就變得非常重要。
計(jì)劃下一步和流通溯源大數(shù)據(jù)結(jié)合，開(kāi)展更深度的分析，為企業(yè)、政府提供更有價(jià)值的數(shù)據(jù)。
前面講到大數(shù)據(jù)的價(jià)值，需要分析師從不同的角度進(jìn)行挖掘，分析師的精力要聚焦在數(shù)據(jù)挖掘上，所以需要一個(gè)敏捷分析平臺(tái)。這個(gè)敏捷分析平臺(tái)應(yīng)該是什么樣子，我們一開(kāi)始也有一些爭(zhēng)論，同時(shí)延伸到了對(duì)敏捷BI的思考。比如這個(gè)平臺(tái)是不是就是敏捷BI？又是不是僅是一個(gè)在線(xiàn)的報(bào)表工具？是不是只要實(shí)現(xiàn)拖拽就意味著敏捷？最后發(fā)現(xiàn)沒(méi)這么簡(jiǎn)單，我們真正需要的平臺(tái)要具備以下特點(diǎn)：
1、實(shí)現(xiàn)可管控的開(kāi)放數(shù)據(jù)集；
2、分析人員可以通過(guò)平臺(tái)直接對(duì)開(kāi)放數(shù)據(jù)集進(jìn)行數(shù)據(jù)挖掘；
3、分析人員在平臺(tái)上分析的結(jié)果可以進(jìn)行分享交流，集體討論并優(yōu)化；
4、數(shù)據(jù)集、分析結(jié)果均可以實(shí)現(xiàn)動(dòng)態(tài)更新；
5、移動(dòng)化，一是操作界面可以自適應(yīng)不同的屏幕，二是閱讀界面能針對(duì)不能設(shè)備定制；
6、支持多租戶(hù)；
7、我們需要系統(tǒng)安全可控、可以便捷地進(jìn)行二次。
通過(guò)考察，我們最終選擇了開(kāi)源BI工具--SpagoBI。它是目前全球唯一一個(gè)100%開(kāi)源的。它的主要功能有以下幾點(diǎn)：
大數(shù)據(jù)支持：可以構(gòu)建自己的大數(shù)據(jù)分析平臺(tái)，處理任何格式的數(shù)據(jù)，甚至可以對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析。
內(nèi)存計(jì)算：可以自己建立一個(gè)交互式的管理駕駛艙。通過(guò)一個(gè)動(dòng)態(tài)的和交互的方式瀏覽你的數(shù)據(jù)，使您在業(yè)務(wù)的各個(gè)方面快速做出決策。
多租戶(hù)：即單個(gè) SpagoBI 實(shí)例服務(wù)多個(gè)組織（租戶(hù)）。在多租戶(hù)架構(gòu)中，每個(gè)租戶(hù)可獨(dú)立擁有和管理自己的用戶(hù)、文件、配置和參數(shù)。
自助分析：只要通過(guò)點(diǎn)擊幾下鼠標(biāo)和簡(jiǎn)單拖拽動(dòng)作，就可以立馬得到您所要的分析報(bào)表。
即時(shí)分析、假設(shè)分析、地理位置分析等多功能。
SpagoBI各組件之前耦合度低，各種引擎均使用該領(lǐng)域內(nèi)主流的開(kāi)源工具進(jìn)行集成，對(duì)于學(xué)習(xí)和應(yīng)用的成本較低，同時(shí)解決了很多兼容性的問(wèn)題。SpagoBI存在的問(wèn)題現(xiàn)在還沒(méi)有中文版，資料也基本是英文的。我們?cè)谧鲞@個(gè)項(xiàng)目的過(guò)程中，同時(shí)對(duì)SpagoBI進(jìn)行了漢化，重要的部署、操作資料也進(jìn)行了翻譯，很快整理之后都將通過(guò)Spago86社區(qū)進(jìn)行公布。
京公網(wǎng)安備 11010502049343號(hào)