最近，前Facebook工程師覃超一篇關于2010年到2015年Facebook改版網站首頁歷程的文章受到極大關注。按照他的記錄，2012年，當時的Facebook產品副總裁帶領一支公司內部頂尖高手組成的團隊，歷時大半年開發了新的網站首頁，進行了重大的改版與更新。隨后，Facebook對該首頁進行了A/B測試：當測試到5%用戶群的時候，各項數據指標都在下滑；當測試到12%用戶群的時候，下滑趨勢依舊明顯。于是，Facebook不得不放棄了這支30余人團隊近一年努力的結果。

A/B測試是個什么鬼？

A/B測試已經是一項成熟的測試、開發方法，被Google的開發團隊普遍采用。業內人士告訴鈦媒體記者，Google廣告產品的每一個新改動也要經過一種嚴格的在線測試來驗證效果，在確保搜索體驗的同時提高廣告的轉化率，這種基于數據的互聯網產品開發和運營，可以大幅度加速創新、改善用戶體驗，起到事半功倍的效果。前Google廣告質量控制部門工程師王曄介紹，A/B測試優化每年能為Google帶來100億美元營收的增長。

簡單來說，A/B測試就是對一個頁面的A版本和B版本進行測試，統計哪個版本的點擊率更高。最為常見的A/B測試形式叫做灰度測試，也就是對一個公司自有的互聯網用戶群進行1%、2%、5%、10%等規模的用戶測試，然后選擇測試效果最好的頁面推廣到全用戶群。

實際上幾乎所有成功的互聯網公司，都不同程度地采用了A/B測試，用于網頁的優化與點擊率效果提升。王曄介紹說，Google的各個產品都有成百上千個不同的測試版本同時運行，試驗數據決定了只有少數改動能最終上線，這些更好的改動可實現每月約2%的營收提升，最終達到20%的年化增長。

而Facebook的經歷，更充分說明了在互聯網的世界里沒有常勝將軍，經驗與直覺都不是互聯網世界的游戲規則。只有通過不斷的測試和反復的數據分析，才能證明一個觀點或判斷是否正確。從Facebook的例子就可以看出，唯快不破和不斷試錯的背后，其實是“數據說話”的思維，A/B測試就是一個讓數據說話的利器。

技術支撐與數據思維的跨界

A/B測試聽起來很簡單，但其實是技術支撐和數據思維相結合的跨界領域。

記者在硅谷采訪了美國A/B測試創業公司Optimizely的產品經理Byron Jones，他介紹了A/B測試通用的五步法：分析、假設、構建測試、運行測試、效果評估。其中，分析、假設和構建測試屬于數據分析階段，運行測試及效果評估屬于技術支撐范疇，這二者相互配合、相輔相承。

在數據分析方面，A/B測試主要對采樣用戶群進行數學假設：根據統計學原理與算法，找出最具有統計意義的采樣用戶群特點、規模、實驗組數和次數等。在技術支撐方面，A/B測試主要基于大規模互聯網流量分割技術，不同的網頁針對不同的用戶群進行劃分，然后通過服務器和網絡控制完成流量分割，達到向不同用戶傳送不同網頁的目的。

在數據分析方面，還有一個非常有意思的辛普森悖論。形象的說，就是當向50%的女性用戶推行某個促銷手段時，銷售獲得了增加；當向50%的男性用戶推行同樣的促銷手段時，銷售也獲得了增加；但當把這兩個人群合并，再推行一樣的促銷手段時，銷售反而下降了。因此，需要通過相關數學處理算法，盡量消除辛普森悖論。

A/B測試云服務，已成一個垂直創業方向

互聯網公司的A/B測試大多都由內部團隊負責，以Google為代表的規模化和專業化A/B測試逐漸成熟。隨著互聯網的高速發展，越來越多的企業需要開展互聯網服務，全部采用自建A/B測試團隊顯然成本很高，于是就出現了基于SaaS模式的第三方專業化A/B測試公司。

有Google工程師背景的兩個團隊，分別都在做類似的服務類創業公司：其中一個，在美國創建了Optimizely公司，目前已經完成了C輪融資，公司成立五年來總共完成了1.45億美元的融資。Optimizely的投資人包括著名的硅谷風投A16Z、Bain Capital Ventures、Salesforce Ventures等，該公司現有400多名員工，業務發展非常迅猛。

而另一個團隊則回到中國，在去年創建了吆喝科技，這就是王曄的團隊。王曄曾在清華和耶魯讀書的時候，參與過中國下一代互聯網（CNGI）和網絡APP流量優化（ALTO）等大型項目，在耶魯、微軟研究院以及NEC北美實驗室參與過多項技術創新課題。2012年到2014年，王曄在美國Google總部的廣告質量控制部門工作。2014年，他看到了國內互聯網+的熱潮后決定回國創業，把成熟的A/B測試技術以公有云的方式提供給國內企業和開發者。

吆喝科技的產品叫做AppAdhoc Optimizer，這是基于A/B測試的優化平臺，于2015年4月全面上線，目前已經有100多家試用客戶。吆喝科技支持試驗流量動態控制、多變量組合試驗、大量并行試驗、針對特定人群的定向試驗等，其SDK不僅支持Web（HTML5）端A/B測試，還支持原生移動APP（iOS、Android）端。吆喝科技目前的投資機構包括峰瑞資本、極客邦等。

2016年將成為互聯網+行動的關鍵之年，無論傳統企業的互聯網服務，還是眾多的O2O和電商創業公司，都可以通過A/B測試這樣的專業工具，研究在線用戶行為、提高運營效率，避免經驗主義和直覺式思維的陷阱。

A/B測試告訴我們，互聯網+時代“領導說了”不算數，“數據說話”才算數。