在互聯網的下半場,不斷精細化運營的背景下,產品經理不再是單純的靠感覺來做產品,更需要培養數據的意識,能以數據為依歸,來不斷改善產品。
不同于公司專業的數據分析師,產品經理更多的可以從用戶、業務的層面去看待數據,去更快更透徹的去尋找數據變動的原因。
那么在數據已經被有效記錄的前提下,如何有效的去分析數據呢?
一、明確數據分析的目的
1、如果數據分析的目的是要對比頁面改版前后的優劣,則衡量的指標應該從頁面的點擊率,跳出率等維度出發,電商類應用還要觀察訂單轉化率,社交類應用要注重用戶的訪問時長、點贊轉發互動等頻次。
不少新人在設計自己產品的時候,可能會花費很多時間在產品本身的設計上,卻沒有花精力思考如何衡量產品的成功與否。
在產品文檔上寫上一句類似“用戶體驗有所”提升的空話,這樣既不利于產品設計順利通過需求評審,也無法更有效的快速提高產品的KPI指標。
2、如果數據分析的目的是探究某一模塊數據異常波動的原因,則分析的方法應該按照金字塔原理逐步拆解,版本->時間->人群。
比如發現首頁猜你喜歡模塊最近的點擊率從40%下降到了35%,暴跌5%個點,這個時候先看看是不是哪個版本的數據發生了波動,是不是因為新版本上線埋點遺漏或有誤造成的。
如果版本的波動數據保持一致,再看看數據是從什么時候開始變化的,是不是因為受到了圣誕、元旦假日因素的影響,頁面上其他模塊上線了新的活動影響了猜你喜歡的轉化。
如果不是,則再拆解是不是流量來源構成發生了變動,是不是新用戶的曝光數量增加導致的。
產品經理需要帶著明確的目的去分析數據,思考實現目標需要構建哪些維度去驗證。大部分時候,產品經理需要非常耐心的一步一步的拆解細分,排查原因。
二、多渠道收集數據
收集方式一般有四類渠道。
1、從外部如易觀或艾瑞的行業數據分析報告獲取,需要帶著審慎的態度去觀察數據,提取有效準確的信息,剝離部分可能注水的數據,并需要時刻警惕那些被人處理過的二手數據。
2、從AppStore、客服意見反饋、微博等社區論壇去主動收集用戶的反饋。
我自己經常有空的時候就會去社區論壇看看用戶的狀態評論,一般這樣的評論都是非常極端的,要么特別好,要么罵成狗。
但這些評論對于自身產品設計的提升還是非常有益的,可以嘗試去反推用戶當時當刻為什么會產生如此的情緒。
3、自行參與問卷設計、用戶訪談等調研,直面用戶,收集一手數據,觀察用戶使用產品時所遇到的問題及感受。
問卷需要提煉核心問題,減少問題,回收結果需剔除無效的敷衍的問卷。
用戶訪談需要注意不使用引導性的詞匯或問題去帶偏用戶的自然感受。
4、從已記錄的用戶行為軌跡去研究數據。
大公司一般會有固話的報表/郵件去每天甚至實時反饋線上的用戶數據情況,也會提供SQL查詢平臺給產品經理或數據分析師,讓他們可以更有深度的探究對比數據。
三、有效剔除干擾數據
1、選取正確的樣本數量,選取足夠大的數量,剔除極端或偶然性數據的影響。08年奧運會上,姚明的三分投籃命中率為100%,科比的三分投籃命中率為32%,那么是不是說姚明的三分投籃命中率要比科比高?
顯示有問題,因為那屆奧運會,姚明只投了一個三分球,科比投了53個。
2、制定相同的抽樣規則,減少分析結論的偏差性。比如兩條Push文案,第1條“您有一個外賣暖心紅包未領取,最大的紅包只留給最會吃的你,點擊進入”,第2條“送你一個外賣低溫福利,足不出戶吃喝熱騰美味,點擊領取 ”。實驗數據表明,第二條Push文案的點擊率比第一條同比高了30%。
那么真的是第二條文案更有吸引力嘛?結果發現是第二條Push文案的接收人群的活躍度明顯高于第一條造成的。
3、剔除版本或節假日因素的干擾,新版本剛上線時的數據表現往往會很好,因為主動升級的用戶一般是高活躍度的用戶。臨近周末或大型節假日的時候,用戶的消費需求會被觸發,電商類應用的訂單轉化率也會直線上升。因此,在數據對比的時候,實驗組和對照組的數據在時間維度上要保持對應。
4、對歷史數據遺忘。人與數據技術不同,數據技術有著100%的記憶能力,而人類根據艾浩賓斯遺忘定律1天后只能記起33%,6天后25%,31天后21%。因此,我們要合理的選擇篩選時間段。
比如猜你喜歡模塊不僅要對興趣標簽的計分進行一定的加權處理,也要結合商品的生命周期等因素做一系列的回歸實驗,得出受眾人群對各類興趣和購買傾向的衰退曲線,利用有規律的時間變化有效刪除老數據,去提升模塊的點擊率。
5、實驗需拆分A1組,也就是在實驗組B和對照組A上再增加一組A1,A1和A的規則保持一致,然后探究AB的數據波動與AA1比較,剔除數據的自然/異常波動帶來的影響。以我實際的A/B實驗表明,設立A1組是非常重要且必要的,不管數據量級有多大,相同實驗規則的兩組在數據也會有一定的小幅波動,而這小幅波動在精細化運營的今天,對我們的判斷可能形成較大的干擾偏差。
四、合理客觀的審視數據
1、不要忽略沉默用戶
產品經理在聽到部分用戶反饋的時候就做出決策,花費大量的時間開發相應的功能,往往結果,可能這些功能只是極少部分用戶的迫切需求,而大部分用戶并不在乎。
甚至有可能與核心用戶的訴求相違背,導致新版產品上線后數據猛跌。
忽略沉默用戶,沒有全盤的考慮產品大部分目標用戶的核心需求,可能造成人力物力的浪費,更有甚者,會錯失商業機會。
2、全面理解數據結果
如果實驗結果的預期與我們的經驗認知有明顯的偏差,請不要盲目下結論質疑自己的直覺,而是嘗試對數據進行更透徹的分析。
例如我曾經做過在首頁給用戶投放活動彈窗的實驗,發現實驗組的數據不管在首頁的點擊率,訂單轉化率乃至7日留存率方面都遠超對照組,首頁上的每一個模塊的轉化率都有明顯的提升,遠遠超出了我們的預期,那這真的是活動彈窗刺激了用戶的轉化率嘛?
后來我們發現在首頁能夠展示出活動彈窗的用戶,往往在使用環境時的網絡狀態比較好,在wifi環境下,而未展示彈窗的用戶則可能是在公交/地鐵/商場等移動場景下,網絡通訊可能不佳,因此影響了A/B實驗的結果。
3、不要過度依賴數據
過度依賴數據,一方面,會讓我們做很多沒有價值的數據分析;另一方面,也會限制產品經理本來應有的靈感和創意。
正像羅振宇在時間的朋友跨年演講上提到的一樣。
用戶要什么,你就給什么,甚至他們沒說出來你就猜到了,這叫母愛算法,在內容分發領域沒有人比今日頭條做得更好,但母愛算法有很大的弊端,在推薦的時候會越推越窄。
另一面則是父愛算法,站的高,看得遠。告訴用戶,放下你手里的爛東西,我告訴你一個好東西,跟我來。正像喬幫主當年打造的iPhone系列產品一樣,不看市場分析,不做用戶調研,打造出超出用戶預期的產品。
五、總結
美國最成功的視頻網站Netflix通過基于用戶習慣的分析,將大數據分析深入到電影的創作環節中,塑造了風靡一時的美劇《紙牌屋》。
然而Netflix的工作人員告訴我們,不應該迷戀大數據。
如果說電視劇評分9分是精品的話,大數據可以讓我們脫離低分6分以下的風險,卻也會帶我們按部就班的走向平庸的絕大多數7-8分之間。
產品經理在直覺創造的心智能力,情感理解的社交能力,與大數據相結合,正確的理解數據,讓數據真正嵌入到產品的設計中,切實解決用戶的實際問題,方能真正做到所謂的“用戶洞察”,讓產品走到用戶需求前面,超出用戶的預期。