作者根據個人經驗總結,分享了關于產品管理中數據分析的幾個關鍵點,一起來看。
和硅谷的產品管理相比,中國科技行業產品管理領域顯著忽略的一個內容是數據分析在產品管理中的應用(customer analytics, product analytics, marketing analytics, etc)。幾乎所有的公司會同意數據分析在產品管理中的重要作用,但只有20%(根據我個人的經驗)左右的公司在實踐中真正努力的貫徹數據分析并利用數據分析指導自己的業務。
造成這種現象的原因是多方面的:
一是在中國科技行業中,產品經理得到的授權不夠:不像硅谷的公司的產品經理會負責產品的方方面面,中國公司的產品經理的主要任務是定義產品的需求、功能、路線圖,領導團隊按時交付(deliver) 產品。產品前期需要進行什么樣子的市場活動,需要引入多少用戶,產品上市后在市場上的表現如何,如何改進產品的表現等工作任務,很多時候不在產品管理部門。
二是精細化產品管理,特別是假設驅動、數據驅動,一直沒有在中國科技公司中得到很好的貫徹。
三是缺少數據科學(Data Science)領域中的相關人才。這一點不僅在中國如此,在其他很多國家也是如此。
這篇文章從我個人的經驗出發,談一下產品管理中數據分析的幾個關鍵點。這幾個關鍵點不涉及具體的分析手段、工具,但這些關鍵點往往觸及潛意識中我們的思維習慣,更能影響工作的效果。
假設驅動,而不是數據驅動/Hypothesis driven, Not Data Driven
很多公司標榜自己采用data driven的方法,各項決策都要有有力的數據支撐。實踐當中,這往往是錯誤的方法,經常會浪費很多分析資源而又找不到問題的關鍵。原因是,數據驅動(data driven)不能提供真正的洞見(insights).
數據只存在于“待驗證的假設”的框架之中(Data only exist in the framework of hypothesis)。換句話說,只有存在預先的假設,才能指導你瞄準哪里去尋找數據。因此,正確的方法應該是假設驅動(Hypothesis Driven)。
比如,產品的新版本發布之后,每日活躍用戶(DAU – Daily Active User) 顯著上升,產品團隊需要弄清楚這是為什么。可能的假設是:
這段時間市場推廣活動增加了,造成DAU增加;
新版本發布后,很多老用戶重新被激活,又回到產品當中,造成DAU增加;
在同樣的市場推廣力度下,新版本比原先的老版本帶來更多的新用戶。
基于這些假設,產品團隊能夠聚焦在“需要做什么樣的分析能證明或證偽這些假設,需要什么數據來驗證這些分析”,從而更快速的驗證產品的表現。
所以,任何時候都要問:為什么要做這個分析,要驗證什么假設還是只是看看這些數據能告訴我們什么?要做的分析能夠帶來什么樣的行為改變(behavior change)?
因果關系,而不是相關性/ Causality, Not Correlation
太多的產品經理、商業分析師將 causality 和correlation 混為一談。一部分原因是實踐當中有太多因素影響最終的結果,因此很難發現causality的因素;另一部分原因是,沒有很好的區分兩者的關系。
Correlation只能表明兩個的變化關系:一個變量發生變化的時候,另一個變量也發生變化。但是,這不能表明另一個變量的變化是由其中一個變量的變化引起的。
Causality 表明因果關系:一個變量的變化,帶來另一個變量的變化。
要形成因果關系,需要具備三個因素:
存在相關性。X和Y之間有correlation
存在先后性。X發生在Y之前
沒有第三個因素帶來X和Y的同時變化(control of other variables)
最好的方法是做A/B test。
所以,如果你沒有A/B test,就請不要把你做的feature或者產品列在時間點1, 然后將用戶或營收的增長列在時間點2,以此來證明是你的feature或產品帶來這樣的增長。
分清楚三類分析的各自作用并時刻意識到現在的分析處在這三類分析中的哪一個階段
(1)描述性分析(deive analytics) 是揭示問題的第一步,但往往變成報告(reporting) 而不是分析(analysis);應該盡量自動化
描述性分析是數據分析的基礎。在分析產品、用戶、市場、競爭的時候,描述性分析是第一步,他讓我們對要分析的事物形成一個直觀的概念。例如:為什么銷售下降了?上個月的活躍用戶是多少?有多少人下載了我們新推出的版本?每天有多少用戶瀏覽我們的主頁?用戶是誰,分布在哪些地域,他們每個月的消費是多少?他們都上哪些網站,等等?
這些分析通常不能帶來行為上的改變,但卻是我們理解產品和用戶的第一步,必不可少。要做這樣的描述性分析,需要具體的數字。數字的來源可以分為定性和定量兩個渠道。定性的渠道通常是通過用戶訪談(user interview),焦點小組(focus group), 一對一采訪(one-on-one),定量的渠道通常是用戶調研(survey), 第三方數據庫(nielson, IRI, SPINS, social media),用戶主動報告(browser cookie, mobile phone data, LBS data, social media)。
描述性分析的結果通常是生成報告(report),幫助各個業務部門更好的理解產品和用戶。由于這些報告不能直接帶來行為改變,而且需要周期性的更新,所以,應該盡量的將描述性分析自動化。
(2)預測性分析(predictive analysis)數據分析的核心競爭力
預測性分析提供對未來的指導,也是數據科學在業務中的主要應用。預測性分析回到的問題通常是:未來的3個月,有多少用戶會不再使用我們的產品;如果我花一元錢導入一個新用戶,這個用戶在整個生命周期內產生的價值是多少?如果一個用戶在我們的產品中付費了,他有多大可能繼續付費?
預測性分析是數據分析的核心競爭力,因為他提供對產品和用戶未來圖景的預測,基于這些預測,我們可以更好的調整產品、市場營銷活動以及用戶服務。預測性分析不僅需要進行大量而深入的數據建模,而且需要對業務有深入的理解。這是數據科學家(Data Scientist) 最有價值的地方。數據分析師、商業分析師應該更多的將自己的工作集中在預測性分析上。
(3)建議性分析(preive analysis) 針對具體問題給出建議,因此,必須對要回答的問題進行清晰的定義
建議性分析的最終結果是給出答案、提出建議和改進方案,因此,對建議性分析的問題,必須要清晰的定義問題,形成預先的假設,確定分析的范圍。驗證是不是建議性分析的一個試金石是:如果這個分析做完了,能帶來什么樣的行為變化(例如,用戶會采用什么不同的方式使用產品,市場推廣會采用什么樣不同的手段)。
實踐當中,一定要先做描述性分析,對問題形成初步的理解,確定值得探索的幾個領域,并盡量將描述性分析自動化,分析結果可以作為整個團隊運營的基準。利用建設性分析對產品進行優化,并時刻跟基準線對標,看假設是否合理,如何進一步優化。在此基礎上,個人和團隊要構建預測性分析的核心能力,將業務能力從“解決現有問題” 轉移到“構建問題”上。
例如,一個App 產品團隊不但要能夠回答“該產品的主要用戶是哪些人”, “是什么原因造成這個月的活躍用戶比上個月少” 這樣的問題,更應該具備的能力是回答“如果一個用戶在使用產品一周之后連續2周不再登陸,這樣的用戶還具有多少價值,是否值得對這樣的用戶繼續進行營銷和服務的投入?”
公司文化
在產品管理中貫徹數據分析并利用分析指導業務,最難的是構建“假設驅動,數據支撐”的企業文化。很多人(老板,團隊領導,客戶),很多業務部門(市場,銷售,客服)并不掌握詳實的數據,因此經常出現的情況是觀點和觀點的爭論,而不是事實和事實的爭論。但觀點和觀點爭永遠分不出勝負。必須以事實為基礎進行爭論和辯論。
每一個人都要努力提供對自己的觀點的數據支撐;一個沒有數據支撐的觀點,不論是誰的觀點,都不比你自己的觀點更好。
每一個應該牢記一句話并身體力行:如果你有數據,請擺出來,我們可以利用這些數據;如果你有的只是觀點,抱歉,我最好還是用我自己的觀點。(If you have data, present it and we will use it; if you have opinion, sorry, I’m gonna use mine.)