什么是大數(shù)據(jù)
隨著大數(shù)據(jù)時(shí)代的到來(lái)，AI 概念的火熱，人們的認(rèn)知有所提高。為什么說(shuō)大數(shù)據(jù)有價(jià)值 這是不是只是一個(gè)虛的概念 大家怎么考慮數(shù)據(jù)驅(qū)動(dòng)問(wèn)題 為什么掌握更多的數(shù)據(jù)就會(huì)更有效 這些問(wèn)題很難回答，但是，大數(shù)據(jù)絕不是大而空洞的。
信息論之父香農(nóng)曾表示，信息是用來(lái)消除不信任的東西，比如預(yù)測(cè)明天會(huì)不會(huì)下雨，如果知道了今天的天氣、風(fēng)速、云層、氣壓等信息，有助于得出更準(zhǔn)確的結(jié)論。所以大數(shù)據(jù)是用來(lái)消除不確定性的，掌握更多的有效數(shù)據(jù)，可以驅(qū)動(dòng)企業(yè)進(jìn)行科學(xué)客觀的決策。
桑文鋒對(duì)大數(shù)據(jù)有著自己的理解，數(shù)據(jù)采集遵循“大”、“全”、“細(xì)”、“時(shí)”四字法則。
“大”強(qiáng)調(diào)宏觀的“大”，而非物理的“大”。大數(shù)據(jù)不是一味追求數(shù)據(jù)量的“大”。比如每天各地級(jí)市的蘋果價(jià)格數(shù)據(jù)統(tǒng)計(jì)只有 2MB，但基于此研發(fā)出一款蘋果智能調(diào)度系統(tǒng)，就是一個(gè)大數(shù)據(jù)應(yīng)用，而有些數(shù)據(jù)雖然很大，卻價(jià)值有限;
“全”強(qiáng)調(diào)多種數(shù)據(jù)源。大數(shù)據(jù)采集講求全量，而不是抽樣。除了采集客戶端數(shù)據(jù)，還需采集服務(wù)端日志、業(yè)務(wù)數(shù)據(jù)庫(kù)，以及第三方服務(wù)等數(shù)據(jù)，全面覆蓋，比如美國(guó)大選前的民意調(diào)查，希拉里有70%以上勝算，但是川普成為了美國(guó)總統(tǒng)，因?yàn)椴蓸訑?shù)據(jù)有偏差，支持川普的底層人民不會(huì)上網(wǎng)回復(fù)。
“細(xì)”強(qiáng)調(diào)多維度數(shù)據(jù)采集，即把事件的維度、屬性、字段等都進(jìn)行采集。如電商行業(yè)“加入購(gòu)物車”的事件，除了采集用戶的 click 數(shù)據(jù)，還應(yīng)采集用戶點(diǎn)擊的是哪個(gè)商品、對(duì)應(yīng)的商戶等數(shù)據(jù)，方便后續(xù)交叉分析。
“時(shí)”強(qiáng)調(diào)數(shù)據(jù)的時(shí)效性。顯然，具有時(shí)效性的數(shù)據(jù)才有參考價(jià)值。如國(guó)家指數(shù)，CPI 指數(shù)，月初收集到信息和月中拿到信息，價(jià)值顯然不同，數(shù)據(jù)需要實(shí)時(shí)拿到，實(shí)時(shí)分析。
從另一個(gè)視角看待數(shù)據(jù)的價(jià)值，可以分為兩點(diǎn)，數(shù)據(jù)驅(qū)動(dòng)決策，數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品智能。數(shù)據(jù)的最大價(jià)值是產(chǎn)品智能，有了數(shù)據(jù)基礎(chǔ)，再搭建好策略算法，去回灌產(chǎn)品，提升產(chǎn)品本身的學(xué)習(xí)能力，可以不斷迭代。如今日頭條的新聞推薦，百度搜索的搜索引擎優(yōu)化，都是數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品智能的體現(xiàn)。
▌ 數(shù)據(jù)分析四個(gè)關(guān)鍵環(huán)節(jié)
桑文鋒把數(shù)據(jù)分析分為四個(gè)環(huán)節(jié)，數(shù)據(jù)采集、數(shù)據(jù)建模、數(shù)據(jù)分析、指標(biāo)。他提出了一個(gè)觀點(diǎn)，要想做好數(shù)據(jù)分析，一定要有自底向上的理念。很多公司的數(shù)據(jù)分析自頂向下推動(dòng)，用業(yè)務(wù)分析指標(biāo)來(lái)決定收集什么數(shù)據(jù)，這是需求驅(qū)動(dòng)工程師的模式，不利于公司長(zhǎng)久的數(shù)據(jù)采集。而一個(gè)健康的自底向上模式，可以幫助公司真正建立符合自己業(yè)務(wù)的數(shù)據(jù)流和數(shù)據(jù)分析體系。
一、數(shù)據(jù)采集
想要真正做好大數(shù)據(jù)分析，首先要把數(shù)據(jù)基礎(chǔ)建好，核心就是“全”和“細(xì)”。
搜集數(shù)據(jù)時(shí)不能只通過(guò) APP 或客戶端收集數(shù)據(jù)，服務(wù)器的數(shù)據(jù)、數(shù)據(jù)庫(kù)數(shù)據(jù)都要同時(shí)收集打通，收集全量數(shù)據(jù)，而非抽樣數(shù)據(jù)，同時(shí)還要記錄相關(guān)維度，否則分析業(yè)務(wù)時(shí)可能會(huì)發(fā)現(xiàn)歷史數(shù)據(jù)不夠，所以不要在意數(shù)據(jù)量過(guò)大，磁盤存儲(chǔ)的成本相比數(shù)據(jù)積累的價(jià)值，非常廉價(jià)。
常見(jiàn)的數(shù)據(jù)采集方式歸結(jié)為三類，可視化/全埋點(diǎn)、代碼埋點(diǎn)、數(shù)據(jù)導(dǎo)入工具。
第一種是可視化/全埋點(diǎn)，這種方式不需要工程師做太多配合，產(chǎn)品經(jīng)理、運(yùn)營(yíng)經(jīng)理想做分析直接在界面點(diǎn)選，系統(tǒng)把數(shù)據(jù)收集起來(lái)，比較靈活。但是也有不好的地方，有許多維度信息會(huì)丟失，數(shù)據(jù)不夠精準(zhǔn)。
第二種是代碼埋點(diǎn)，代碼埋點(diǎn)不特指前端埋點(diǎn)，后端服務(wù)器數(shù)據(jù)模塊、日志，這些深層次的都可以代碼埋點(diǎn)，比如電商行業(yè)中交易相關(guān)的數(shù)據(jù)可以在后端采集。代碼埋點(diǎn)的優(yōu)勢(shì)是，數(shù)據(jù)更加準(zhǔn)確，通過(guò)前端去采集數(shù)據(jù)，常會(huì)發(fā)現(xiàn)數(shù)據(jù)對(duì)不上，跟自己的實(shí)際后臺(tái)數(shù)據(jù)差異非常大。可能有三個(gè)原因：第一個(gè)原因是本身統(tǒng)計(jì)口徑不一樣，一定出現(xiàn)丟失;第二點(diǎn)是流量過(guò)大，導(dǎo)致數(shù)據(jù)丟失異常;第三點(diǎn)是SDK兼容，某些客戶的某些設(shè)備數(shù)據(jù)發(fā)不出去，導(dǎo)致數(shù)據(jù)不對(duì)稱。而代碼埋點(diǎn)的后臺(tái)是公司自己的服務(wù)器，自己核心的模擬可以做校準(zhǔn)，基本進(jìn)行更準(zhǔn)確的數(shù)據(jù)采集。
第三種是通過(guò)導(dǎo)入輔助工具，將后臺(tái)生成的日志、數(shù)據(jù)表、線下數(shù)據(jù)用實(shí)時(shí)批量方式灌到里面，這是一個(gè)很強(qiáng)的耦合。
數(shù)據(jù)采集需要采集數(shù)據(jù)和分析數(shù)據(jù)的人共同參與進(jìn)來(lái)，分析數(shù)據(jù)的人明確業(yè)務(wù)指標(biāo)，并且對(duì)于數(shù)據(jù)的準(zhǔn)確性有敏感的判斷力，采集數(shù)據(jù)的人再結(jié)合業(yè)務(wù)進(jìn)行系統(tǒng)性的采集。
二、數(shù)據(jù)建模
很多公司都有業(yè)務(wù)數(shù)據(jù)庫(kù)，里面存放著用戶注冊(cè)信息、交易信息等，然后產(chǎn)品經(jīng)理、運(yùn)營(yíng)人員向技術(shù)人員尋求幫助，用業(yè)務(wù)數(shù)據(jù)庫(kù)支持業(yè)務(wù)上的數(shù)據(jù)分析。但是這樣維護(hù)成本很高，且?guī)浊f(wàn)、幾億條數(shù)據(jù)不能很好地操作。所以，數(shù)據(jù)分析和正常業(yè)務(wù)運(yùn)轉(zhuǎn)有兩項(xiàng)分析，數(shù)據(jù)分析單獨(dú)建模、單獨(dú)解決問(wèn)題。
數(shù)據(jù)建模有兩大標(biāo)準(zhǔn)：易理解和性能好。
數(shù)據(jù)驅(qū)動(dòng)不是數(shù)據(jù)分析師、數(shù)據(jù)庫(kù)管理員的專利，讓公司每一個(gè)業(yè)務(wù)人員都能在工作中運(yùn)用數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，并能在獲得秒級(jí)響應(yīng)，驗(yàn)證自己的新點(diǎn)子新思維，嘗試新方法，才是全員數(shù)據(jù)驅(qū)動(dòng)的健康狀態(tài)。
多維數(shù)據(jù)分析模型(OLAP)是用戶數(shù)據(jù)分析中最有效的模型，它把用戶的訪問(wèn)數(shù)據(jù)都?xì)w類為維度和指標(biāo)，城市是維度，操作系統(tǒng)也是維度，銷售額、用戶量是指標(biāo)。建立好多維數(shù)據(jù)分析模型，解決的不是某個(gè)業(yè)務(wù)指標(biāo)分析的問(wèn)題，使用者可以靈活組合，滿足各種需求。
三、數(shù)據(jù)分析
數(shù)據(jù)分析支持產(chǎn)品改進(jìn)
產(chǎn)品經(jīng)理在改進(jìn)產(chǎn)品功能時(shí)，往往是拍腦袋靈光一現(xiàn)，再對(duì)初級(jí)的點(diǎn)子進(jìn)行再加工，這是不科學(xué)的。《精益創(chuàng)業(yè)》中講過(guò)一個(gè)理念，把數(shù)據(jù)分析引入產(chǎn)品迭代，對(duì)已有的功能進(jìn)行數(shù)據(jù)采集和數(shù)據(jù)分析，得出有用的結(jié)論引入下一輪迭代，從而改進(jìn)產(chǎn)品。在這個(gè)過(guò)程中大數(shù)據(jù)分析很關(guān)鍵。
Facebook 的創(chuàng)始人曾經(jīng)介紹過(guò)他的公司如何確定產(chǎn)品改進(jìn)方向。Facebook 采用了一種機(jī)制：每一個(gè)員工如果有一個(gè)點(diǎn)子，可以抽樣幾十萬(wàn)用戶進(jìn)行嘗試，如果結(jié)果不行，就放棄這個(gè)點(diǎn)子，如果這個(gè)效果非常好，就推廣到更大范圍。這是把數(shù)據(jù)分析引入產(chǎn)品迭代的科學(xué)方法。
桑文鋒在 2007 年加入百度時(shí)，也發(fā)現(xiàn)了一個(gè)現(xiàn)象，他打開(kāi)郵箱會(huì)收到幾十封報(bào)表，將百度知道的訪問(wèn)量、提問(wèn)量、回答量等一一介紹。當(dāng)百度的產(chǎn)品經(jīng)理提出一個(gè)需求時(shí)，工程師會(huì)從數(shù)據(jù)的角度提出疑問(wèn)，這個(gè)功能為什么好 有什么數(shù)據(jù)支撐 這個(gè)功能上線時(shí)如何評(píng)估 有什么預(yù)期數(shù)據(jù) 這也是一種數(shù)據(jù)驅(qū)動(dòng)產(chǎn)品的體現(xiàn)。
數(shù)據(jù)驅(qū)動(dòng)運(yùn)營(yíng)監(jiān)控
運(yùn)營(yíng)監(jiān)控通常使用海盜模型，所謂的運(yùn)營(yíng)就是五件事：觸達(dá)是怎么吸引用戶過(guò)來(lái);然后激活用戶，讓用戶真正變成有效的用戶;然后留存，提高用戶粘性，讓用戶能停留在你的產(chǎn)品中不斷使用;接下來(lái)是引薦，獲取用戶這么困難，能不能發(fā)動(dòng)已有的用戶，讓已有用戶帶來(lái)新用戶，實(shí)現(xiàn)自傳播;最后是營(yíng)收，做產(chǎn)品最終要賺錢。要用數(shù)據(jù)分析，讓運(yùn)營(yíng)做的更好。
數(shù)據(jù)分析方法
互聯(lián)網(wǎng)常見(jiàn)分析方法有幾種，多維分析、漏斗分析、留存分析、用戶路徑、用戶分群、點(diǎn)擊分析等等，不同的數(shù)據(jù)分析方法適用于不同的業(yè)務(wù)場(chǎng)景，需要自主選擇。
舉個(gè)多維分析的例子，神策數(shù)據(jù)有一個(gè)視頻行業(yè)的客戶叫做開(kāi)眼，他們的軟件有一個(gè)下載頁(yè)面，運(yùn)營(yíng)人員曾經(jīng)發(fā)現(xiàn)他們的安卓 APP 下載量遠(yuǎn)低于 iOS，這是不合理的。他們考慮過(guò)是不是 iOS 用戶更愿意看視頻，隨后從多個(gè)維度進(jìn)行了分析，否定了這個(gè)結(jié)論，當(dāng)他們發(fā)現(xiàn)某些安卓版本的下載量為零，分析到屏幕寬高時(shí)，看出這個(gè)版本下載按鈕顯示不出來(lái)，所以下載比例非常低。就這樣通過(guò)多維分析，找出了產(chǎn)品改進(jìn)點(diǎn)。
舉個(gè)漏斗分析的例子，神策數(shù)據(jù)的官網(wǎng)訪問(wèn)量很高，但是注冊(cè)-登錄用戶的轉(zhuǎn)化率很低，需要進(jìn)行改進(jìn)。所以大家就思考如何把轉(zhuǎn)化漏斗激活地更好，后來(lái)神策做了小的改變，在提交申請(qǐng)?jiān)囉煤蠹恿艘粋€(gè)查看登錄頁(yè)面，這樣用戶收到賬戶名密碼后可以隨手登錄，優(yōu)化了用戶體驗(yàn)，轉(zhuǎn)化率也有了可觀的提升。
四、指標(biāo)
如何定義指標(biāo) 對(duì)于創(chuàng)業(yè)公司來(lái)說(shuō)，有兩種方法非常有效：第一關(guān)鍵指標(biāo)法和海盜指標(biāo)法。
第一關(guān)鍵指標(biāo)法是《精益數(shù)據(jù)分析》中提出的理論，任何一個(gè)產(chǎn)品在某個(gè)階段，都有一個(gè)最需要關(guān)注的指標(biāo)，其他指標(biāo)都是這個(gè)指標(biāo)的衍生，這個(gè)指標(biāo)決定了公司當(dāng)前的工作重點(diǎn)，對(duì)一個(gè)初創(chuàng)公司來(lái)說(shuō)，可能開(kāi)始關(guān)注日活，圍繞日活又?jǐn)U展了一些指標(biāo)，當(dāng)公司的產(chǎn)品成熟后，變現(xiàn)就會(huì)成為關(guān)鍵，凈收入(GMV)會(huì)變成第一關(guān)鍵指標(biāo)。
京公網(wǎng)安備 11010502049343號(hào)