增長(cháng)策略：如何通過(guò)AB測試評估活動(dòng)效果及優(yōu)化？

電商行業(yè)充斥著(zhù)大大小小的促銷(xiāo)活動(dòng)，O2O領(lǐng)域也常常上演補貼大戰，在開(kāi)疆辟土階段，砸錢(qián)讓利招攬用戶(hù)的法子自然最為好使，但當形成一定規模之后，瘋狂促銷(xiāo)補貼的模式是否仍然高效？個(gè)性化的運營(yíng)策略是否有必要？活動(dòng)的真實(shí)效果到底如何？

為了解決以上問(wèn)題，建立科學(xué)的活動(dòng)效果評估體系，當前最簡(jiǎn)便的方法莫過(guò)于A(yíng)B測試。

一、如何建立評估體系？

AB測試目前廣泛應用于產(chǎn)品灰度發(fā)布階段，除此以外，AB測試還有更為廣泛的用途，比如精準營(yíng)銷(xiāo)等增長(cháng)策略。

要進(jìn)行某類(lèi)方案的驗證，其理念非常樸素，無(wú)非就是控制變量，但商業(yè)世界尤其復雜，想要控制一切不相干變量極其困難，因此AB測試大行其道，成為了檢驗“真理”的常用標準。

基于A(yíng)B測試的思想，通過(guò)隨機分組，可以保證兩個(gè)組的其他變量基本一致，通過(guò)對實(shí)驗組施加影響，來(lái)觀(guān)察實(shí)驗組相對于對照組的表現差異，從而評估該影響的效果。

接下來(lái)，我們就以電商行業(yè)的促銷(xiāo)活動(dòng)為例，嘗試構建促銷(xiāo)的評估體系。

首先，通過(guò)標簽篩選出潛在人群，并隨機抽取一部分用戶(hù)作為測試組，在不做任何干預的情況下，暗中觀(guān)察用戶(hù)的轉化情況。

對于實(shí)驗組的用戶(hù)，我們通過(guò)定向優(yōu)惠券加短信觸達的形式進(jìn)行干預，然后靜靜等待用戶(hù)轉化。

對于對照組而言，用戶(hù)都是自然轉化，而實(shí)驗組的用戶(hù)是在干預下產(chǎn)生的轉化。在實(shí)驗組中，一部分用戶(hù)確實(shí)是被優(yōu)惠吸引，從而下單購買(mǎi)，但還有一部分用戶(hù)即使沒(méi)有優(yōu)惠券也很有可能自然轉化。

因此，我們以對照組的轉化率作為沒(méi)有優(yōu)惠券情況下的自然轉化率，那么，我們可以得到以下與用戶(hù)相關(guān)的指標：

用戶(hù)基線(xiàn)=干預總人數*自然轉化率

用戶(hù)提升=干預總人數*（干預轉化率-自然轉化率）

用戶(hù)提升率=用戶(hù)提升/用戶(hù)基線(xiàn)

同理，從經(jīng)營(yíng)分析的層面，我們可以評估實(shí)際的銷(xiāo)售效果：

GMV基線(xiàn)=用戶(hù)基線(xiàn)*客單價(jià)

GMV提升=用戶(hù)提升*客單價(jià)

成本=每單優(yōu)惠金額*下單用戶(hù)量+每條短信資費*干預總人數

GMV凈提升=GMV提升-成本

最終，我們可以得到評估經(jīng)營(yíng)效果的綜合指標：

GMV凈提升率=GMV凈提升/GMV基線(xiàn)

ROI=GMV凈提升/成本

上邊的指標這么多，那哪個(gè)才是最重要的呢？

以上指標羅列的目的是便于理解指標的拆解計算過(guò)程。但對于不同角色而言，最終只需要關(guān)注與其相關(guān)的結果指標。

對于運營(yíng)或者營(yíng)銷(xiāo)而言，他們的考核目標可能聚焦于月活躍用戶(hù)數，所以，他們會(huì )更關(guān)心用戶(hù)提升率，通過(guò)多次活動(dòng)的橫向比較，可以識別活動(dòng)效果的好壞，從而再逐步挖掘根因。

對于負責銷(xiāo)售的同事而言，需要考量的因素會(huì )相對復雜一些，但他們也可以直接通過(guò)GMV凈提升率和ROI這兩個(gè)指標來(lái)評估活動(dòng)的綜合效果。

其中，GMV凈提升率反應的是活動(dòng)對于GMV的提升效果，如果當前的目標是不惜一切代價(jià)沖GMV的話(huà)，那么應該選擇GMV凈提升率高的活動(dòng)形式或力度。

而如果需要權衡考量利潤的話(huà)，那么還應該把ROI納入分析，選取GMV凈提升率較高，同時(shí)ROI也較為可觀(guān)的活動(dòng)方案。

二、如何構建優(yōu)化策略？

上邊有提到，運營(yíng)或者銷(xiāo)售可以通過(guò)AB測試優(yōu)化活動(dòng)方案，那么具體應該如何實(shí)現呢？

如果需要測試不同促銷(xiāo)形式、不同活動(dòng)力度的效果，那么有必要對實(shí)驗組進(jìn)一步細分。

例如，對于實(shí)驗組1可以發(fā)放滿(mǎn)100減20的券，實(shí)驗組2發(fā)放滿(mǎn)100減10的券，最后與對照組比對分析活動(dòng)效果差異。滿(mǎn)100減20的券GMV提升可能較高，但由于成本較大，也會(huì )導致GMV凈提升率和ROI并不高。

同樣，對于不同促銷(xiāo)形式，如定向優(yōu)惠券、定向優(yōu)惠價(jià)格等，同一折扣力度不同門(mén)檻，如100減20和200減40，也可以以相似方法進(jìn)行測試。

進(jìn)行多次AB測試之后，可以根據歷史測試數據進(jìn)行初步判斷，識別符合目標的最優(yōu)促銷(xiāo)方案。

三、AB測試有哪些坑？

方法論總是看上去很美好，但一到落地層面就會(huì )面臨很多意想不到的問(wèn)題，下面就來(lái)扒一扒，按照上述AB測試的方法來(lái)做活動(dòng)效果評估及優(yōu)化會(huì )有哪些坑。

1） 測試組人數太少。測試組和實(shí)驗組的人數不需要完全一樣，但各組的人數要保證有統計學(xué)上的意義，如果實(shí)驗組10w人，測試組只有10個(gè)人，那么測試組的結果受個(gè)體的影響會(huì )很大，最終可能導致異常的結果。

2） 實(shí)驗組人數太少。如果想要測試什么門(mén)檻的優(yōu)惠券效果更好，那么需要拆分多個(gè)實(shí)驗組，發(fā)放不同的優(yōu)惠券，如果分的組太多，會(huì )使得每個(gè)實(shí)驗組人數偏少，從而導致結果不準確。

3） 你的測試組是別人的實(shí)驗組。現實(shí)環(huán)境下，不存在絕對干凈的試驗田，你以為測試組可以代表用戶(hù)在不受干擾下的自然轉化，殊不知有其他活動(dòng)已經(jīng)將他們劃入了實(shí)驗組。如果是公司內部的沖突，那么可以在數據回流后剔除掉參與其他實(shí)驗的用戶(hù)，但如果是受到外部友商的干擾，那么我們將無(wú)從知曉，只有通過(guò)多次實(shí)驗綜合評估，對沖單次活動(dòng)可能會(huì )面臨的特殊情況。

4） 你的實(shí)驗組是別人的實(shí)驗組。同理，外部友商可能有更大力度的活動(dòng)，剛好圈定了你的實(shí)驗組用戶(hù)，那么結果可想而之。

5） 干預時(shí)間滯后。從圈定用戶(hù)、申請優(yōu)惠券到最后的短信觸達，這個(gè)時(shí)間多少有些滯后，如果系統不判斷用戶(hù)是否已經(jīng)下單，那么用戶(hù)在下單之后才收到優(yōu)惠券，一方面會(huì )影響體驗，另一方面，用戶(hù)可能取消訂單后再下單，導致履約成本的上升。如果在發(fā)送短信前剔除已下單用戶(hù)，那么最后實(shí)際干預的都是購買(mǎi)傾向相對偏弱的人群，會(huì )導致結果失準。因此，營(yíng)銷(xiāo)系統的完善性、各部門(mén)的協(xié)同執行力都至關(guān)重要。

結語(yǔ)

現實(shí)世界紛繁復雜，想要抽絲剝繭，捋出頭緒談何容易。試驗總會(huì )好過(guò)停步不前，在實(shí)踐之中，我們可以學(xué)著(zhù)避開(kāi)一個(gè)又一個(gè)的坑。

我們都在試圖去搭建一個(gè)框架，在這個(gè)框架下反復地探究，找到一絲可能的線(xiàn)索，最終，這些線(xiàn)索會(huì )編織起一個(gè)網(wǎng)絡(luò )。