Testin成立于2011年，是國內第一批第三方測試平臺。起先公司是從“兼容測試”切入市場，提供“云測試（Cloud Testing）”服務：開發者不必自己購買真機，可以直接借助云測平臺進行功能、性能和兼容可用性等測試。接著公司在2014年推出了針對應用的“崩潰實時分析”功能，2015年推出了類似“滴滴模式”的眾包測試平臺以及內測分發功能，去年發布了針對應用bug的“缺陷管理系統”，并將Testin上已有的測試服務串聯起來，提高開發者效率。

解決了產品（APP或網頁）的前期測試和發布問題之后，Testin又在今年年初推出了“A/B tests”模塊，意在幫助開發人員解決在產品的更新迭代階段遇到的各種難題。

什么是A/B tests？

一款產品發布后會經歷多次優化和新版本上線。每次功能或UI要不要改、怎么改，僅靠開發團隊拍腦袋決定的試錯成本太高。這時應用A/B tests就可以幫助企業更為科學地評估各種想法和決策的價值。

A/B tests的實質是控制變量進行實驗。舉例來說，當開發人員在按鈕選擇紅色還是綠色之間糾結時，可以設置兩個除了按鈕顏色不同之外完全相同的版本，并選取行為相似的兩群用戶樣本，將兩個版本產品分別推送給這些用戶進行測試。然后跟蹤分析用戶行為和反饋，讓用戶告訴企業哪個版本好，用數據輔助決策。

做好A/B測試有三點比較關鍵：要測試什么功能、被測試樣本的選擇、如何統計分析數據結果。Testin針對第一點為用戶提供了可視化編輯和編碼編輯的功能，前者通過將手機交互界面實時轉移到電腦上，開發人員可以在電腦端直接對交互界面進行編輯，例如更改文字和顏色、調整支付方式的順序等。其他更為復雜的改變可以通過后者完成。產品更改完成之后就可以直接發放給用戶。

第二點是樣本的選擇。由于A/B tests是通過樣本的測試結果預測總體趨勢，因此樣本的選取直接關系到結果是否真實有參考價值。一方面，Testin通過設置設備標簽和用戶標簽進行用戶分流，保證樣本的可靠性，避免出現有的用戶既用了A也用了B的情況。設備標簽是用戶手機的型號、分辨率等參數信息。用戶標簽是用戶的數據，例如男女，企業提交用戶數據后，后臺會幫助企業完成分流進行投放。另一方面是樣本的大小，Testin建議樣本總體至少需要是月活量的30%-50%，而每版的測試用戶需要在5000到50,000間。如果月活量在千萬以上則樣本就要更大。

第三點是結果追蹤分析。Testin通過埋點等技術實時采集用戶的數據，包括UV（獨立訪客量）、PV（頁面瀏覽量）以及按鈕點擊量等關鍵指標。并且使用統計學的方法例如置信度和置信區間對結果進行分析。置信度是對結果可靠度的要求，置信區間是指預測的總體平均值范圍。例如A版本的用戶點擊量增量的置信區間是[2.3%,10%]，置信度設為95%。則意味著如果A全量發布，所有用戶點擊量增加值的均值將會有95%的概率大于2.3%且小于10%，即可以認為A版本的改進是有益的。

此外，基于A/B 測試 Testin還上線了灰度發布的功能，即新版本上線之前可以先對一小撮用戶（大概1%到5%的比例）進行測試，一旦體驗反饋不好或者出現bug，就能立即動回滾到老版本。

不同于Growing IO、神策這些“后驗”型的運營平臺，Testin強調AB測試是“先驗”管理。所謂先驗是指新產品先對樣本用戶測試，根據結果再選擇版本推送給所有用戶。而后驗是指新產品先推送給所有用戶，再分析用戶反饋數據進行優化。

目前A/B測試模塊是以預付租金（包月、包年）的形式進行收費，并且在合同期內不限測試次數。從年初上線到現在已為幾十位客戶提供了服務，客單價在幾萬到幾百萬不等。

為什么推出這個模塊？

Testin 副總裁陳冠誠介紹，一是流量紅利消失，用戶獲取成本和試錯逐漸升高，互聯網進入精細化運營的時代，而A/B tests則是非常有效的工具。二是盡管在國外有對標企業，例如去年剛完成5700萬美元B輪融資的Optimizely。在國內也有BAT等一些大公司可以自己做A/B tests，但那些人數小于2000人的互聯網公司或是傳統企業依然存在著不知道怎么做以及自行組建相關團隊成本太高等困難。此次上線的新模塊恰好滿足了企業的需求。

至此，Testin逐漸建立起完整的一站式的測試服務。目前包括遠程真機、功能測試、兼容測試、自動化私有云、A/B測試、APP推廣六個核心模塊。據創始人王軍介紹，今年上半年Testin還將發布新的安全產品。

據了解，公司目前規模在500人左右，客戶來自互聯網、金融、汽車和快消等行業，已為滴滴、雀巢和奔馳等大公司提供服務。

公司在2011年獲得IDG投資的千萬美元A輪；之后于2014年獲得由高榕資本、IDG資本投資的B輪融資；并于2015年獲得海銀資本、高榕資本、IDG資本的5490萬美元B+輪投資。2016年獲得境內美元基金的3000萬美元的C輪投資。

Testin成立于2011年，是國內第一批第三方測試平臺。起先公司是從“兼容測試”切入市場，提供“云測試（Cloud Testing）”服務：開發者不必自己購買真機，可以直接借助云測平臺進行功能、性能和兼容可用性等測試。接著公司在2014年推出了針對應用的“崩潰實時分析”功能，2015年推出了類似“滴滴模式”的眾包測試平臺以及內測分發功能，去年發布了針對應用bug的“缺陷管理系統”，并將Testin上已有的測試服務串聯起來，提高開發者效率。

解決了產品（APP或網頁）的前期測試和發布問題之后，Testin又在今年年初推出了“A/B tests”模塊，意在幫助開發人員解決在產品的更新迭代階段遇到的各種難題。

什么是A/B tests？

一款產品發布后會經歷多次優化和新版本上線。每次功能或UI要不要改、怎么改，僅靠開發團隊拍腦袋決定的試錯成本太高。這時應用A/B tests就可以幫助企業更為科學地評估各種想法和決策的價值。

A/B tests的實質是控制變量進行實驗。舉例來說，當開發人員在按鈕選擇紅色還是綠色之間糾結時，可以設置兩個除了按鈕顏色不同之外完全相同的版本，并選取行為相似的兩群用戶樣本，將兩個版本產品分別推送給這些用戶進行測試。然后跟蹤分析用戶行為和反饋，讓用戶告訴企業哪個版本好，用數據輔助決策。

做好A/B測試有三點比較關鍵：要測試什么功能、被測試樣本的選擇、如何統計分析數據結果。Testin針對第一點為用戶提供了可視化編輯和編碼編輯的功能，前者通過將手機交互界面實時轉移到電腦上，開發人員可以在電腦端直接對交互界面進行編輯，例如更改文字和顏色、調整支付方式的順序等。其他更為復雜的改變可以通過后者完成。產品更改完成之后就可以直接發放給用戶。

第二點是樣本的選擇。由于A/B tests是通過樣本的測試結果預測總體趨勢，因此樣本的選取直接關系到結果是否真實有參考價值。一方面，Testin通過設置設備標簽和用戶標簽進行用戶分流，保證樣本的可靠性，避免出現有的用戶既用了A也用了B的情況。設備標簽是用戶手機的型號、分辨率等參數信息。用戶標簽是用戶的數據，例如男女，企業提交用戶數據后，后臺會幫助企業完成分流進行投放。另一方面是樣本的大小，Testin建議樣本總體至少需要是月活量的30%-50%，而每版的測試用戶需要在5000到50,000間。如果月活量在千萬以上則樣本就要更大。

第三點是結果追蹤分析。Testin通過埋點等技術實時采集用戶的數據，包括UV（獨立訪客量）、PV（頁面瀏覽量）以及按鈕點擊量等關鍵指標。并且使用統計學的方法例如置信度和置信區間對結果進行分析。置信度是對結果可靠度的要求，置信區間是指預測的總體平均值范圍。例如A版本的用戶點擊量增量的置信區間是[2.3%,10%]，置信度設為95%。則意味著如果A全量發布，所有用戶點擊量增加值的均值將會有95%的概率大于2.3%且小于10%，即可以認為A版本的改進是有益的。

此外，基于A/B 測試 Testin還上線了灰度發布的功能，即新版本上線之前可以先對一小撮用戶（大概1%到5%的比例）進行測試，一旦體驗反饋不好或者出現bug，就能立即動回滾到老版本。

不同于Growing IO、神策這些“后驗”型的運營平臺，Testin強調AB測試是“先驗”管理。所謂先驗是指新產品先對樣本用戶測試，根據結果再選擇版本推送給所有用戶。而后驗是指新產品先推送給所有用戶，再分析用戶反饋數據進行優化。

目前A/B測試模塊是以預付租金（包月、包年）的形式進行收費，并且在合同期內不限測試次數。從年初上線到現在已為幾十位客戶提供了服務，客單價在幾萬到幾百萬不等。

為什么推出這個模塊？

Testin 副總裁陳冠誠介紹，一是流量紅利消失，用戶獲取成本和試錯逐漸升高，互聯網進入精細化運營的時代，而A/B tests則是非常有效的工具。二是盡管在國外有對標企業，例如去年剛完成5700萬美元B輪融資的Optimizely。在國內也有BAT等一些大公司可以自己做A/B tests，但那些人數小于2000人的互聯網公司或是傳統企業依然存在著不知道怎么做以及自行組建相關團隊成本太高等困難。此次上線的新模塊恰好滿足了企業的需求。

至此，Testin逐漸建立起完整的一站式的測試服務。目前包括遠程真機、功能測試、兼容測試、自動化私有云、A/B測試、APP推廣六個核心模塊。據創始人王軍介紹，今年上半年Testin還將發布新的安全產品。

據了解，公司目前規模在500人左右，客戶來自互聯網、金融、汽車和快消等行業，已為滴滴、雀巢和奔馳等大公司提供服務。

公司在2011年獲得IDG投資的千萬美元A輪；之后于2014年獲得由高榕資本、IDG資本投資的B輪融資；并于2015年獲得海銀資本、高榕資本、IDG資本的5490萬美元B+輪投資。2016年獲得境內美元基金的3000萬美元的C輪投資。