增長策略：如何通過AB測試評(píng)估活動(dòng)效果及優(yōu)化？

電商行業(yè)充斥著大大小小的促銷活動(dòng)，O2O領(lǐng)域也常常上演補(bǔ)貼大戰(zhàn)，在開疆辟土階段，砸錢讓利招攬用戶的法子自然最為好使，但當(dāng)形成一定規(guī)模之后，瘋狂促銷補(bǔ)貼的模式是否仍然高效？個(gè)性化的運(yùn)營策略是否有必要？活動(dòng)的真實(shí)效果到底如何？

為了解決以上問題，建立科學(xué)的活動(dòng)效果評(píng)估體系，當(dāng)前最簡便的方法莫過于AB測試。

一、如何建立評(píng)估體系？

AB測試目前廣泛應(yīng)用于產(chǎn)品灰度發(fā)布階段，除此以外，AB測試還有更為廣泛的用途，比如精準(zhǔn)營銷等增長策略。

要進(jìn)行某類方案的驗(yàn)證，其理念非常樸素，無非就是控制變量，但商業(yè)世界尤其復(fù)雜，想要控制一切不相干變量極其困難，因此AB測試大行其道，成為了檢驗(yàn)“真理”的常用標(biāo)準(zhǔn)。

基于AB測試的思想，通過隨機(jī)分組，可以保證兩個(gè)組的其他變量基本一致，通過對(duì)實(shí)驗(yàn)組施加影響，來觀察實(shí)驗(yàn)組相對(duì)于對(duì)照組的表現(xiàn)差異，從而評(píng)估該影響的效果。

接下來，我們就以電商行業(yè)的促銷活動(dòng)為例，嘗試構(gòu)建促銷的評(píng)估體系。

首先，通過標(biāo)簽篩選出潛在人群，并隨機(jī)抽取一部分用戶作為測試組，在不做任何干預(yù)的情況下，暗中觀察用戶的轉(zhuǎn)化情況。

對(duì)于實(shí)驗(yàn)組的用戶，我們通過定向優(yōu)惠券加短信觸達(dá)的形式進(jìn)行干預(yù)，然后靜靜等待用戶轉(zhuǎn)化。

對(duì)于對(duì)照組而言，用戶都是自然轉(zhuǎn)化，而實(shí)驗(yàn)組的用戶是在干預(yù)下產(chǎn)生的轉(zhuǎn)化。在實(shí)驗(yàn)組中，一部分用戶確實(shí)是被優(yōu)惠吸引，從而下單購買，但還有一部分用戶即使沒有優(yōu)惠券也很有可能自然轉(zhuǎn)化。

因此，我們以對(duì)照組的轉(zhuǎn)化率作為沒有優(yōu)惠券情況下的自然轉(zhuǎn)化率，那么，我們可以得到以下與用戶相關(guān)的指標(biāo)：

用戶基線=干預(yù)總?cè)藬?shù)*自然轉(zhuǎn)化率

用戶提升=干預(yù)總?cè)藬?shù)*（干預(yù)轉(zhuǎn)化率-自然轉(zhuǎn)化率）

用戶提升率=用戶提升/用戶基線

同理，從經(jīng)營分析的層面，我們可以評(píng)估實(shí)際的銷售效果：

GMV基線=用戶基線*客單價(jià)

GMV提升=用戶提升*客單價(jià)

成本=每單優(yōu)惠金額*下單用戶量+每條短信資費(fèi)*干預(yù)總?cè)藬?shù)

GMV凈提升=GMV提升-成本

最終，我們可以得到評(píng)估經(jīng)營效果的綜合指標(biāo)：

GMV凈提升率=GMV凈提升/GMV基線

ROI=GMV凈提升/成本

上邊的指標(biāo)這么多，那哪個(gè)才是最重要的呢？

以上指標(biāo)羅列的目的是便于理解指標(biāo)的拆解計(jì)算過程。但對(duì)于不同角色而言，最終只需要關(guān)注與其相關(guān)的結(jié)果指標(biāo)。

對(duì)于運(yùn)營或者營銷而言，他們的考核目標(biāo)可能聚焦于月活躍用戶數(shù)，所以，他們會(huì)更關(guān)心用戶提升率，通過多次活動(dòng)的橫向比較，可以識(shí)別活動(dòng)效果的好壞，從而再逐步挖掘根因。

對(duì)于負(fù)責(zé)銷售的同事而言，需要考量的因素會(huì)相對(duì)復(fù)雜一些，但他們也可以直接通過GMV凈提升率和ROI這兩個(gè)指標(biāo)來評(píng)估活動(dòng)的綜合效果。

其中，GMV凈提升率反應(yīng)的是活動(dòng)對(duì)于GMV的提升效果，如果當(dāng)前的目標(biāo)是不惜一切代價(jià)沖GMV的話，那么應(yīng)該選擇GMV凈提升率高的活動(dòng)形式或力度。

而如果需要權(quán)衡考量利潤的話，那么還應(yīng)該把ROI納入分析，選取GMV凈提升率較高，同時(shí)ROI也較為可觀的活動(dòng)方案。

二、如何構(gòu)建優(yōu)化策略？

上邊有提到，運(yùn)營或者銷售可以通過AB測試優(yōu)化活動(dòng)方案，那么具體應(yīng)該如何實(shí)現(xiàn)呢？

如果需要測試不同促銷形式、不同活動(dòng)力度的效果，那么有必要對(duì)實(shí)驗(yàn)組進(jìn)一步細(xì)分。

例如，對(duì)于實(shí)驗(yàn)組1可以發(fā)放滿100減20的券，實(shí)驗(yàn)組2發(fā)放滿100減10的券，最后與對(duì)照組比對(duì)分析活動(dòng)效果差異。滿100減20的券GMV提升可能較高，但由于成本較大，也會(huì)導(dǎo)致GMV凈提升率和ROI并不高。

同樣，對(duì)于不同促銷形式，如定向優(yōu)惠券、定向優(yōu)惠價(jià)格等，同一折扣力度不同門檻，如100減20和200減40，也可以以相似方法進(jìn)行測試。

進(jìn)行多次AB測試之后，可以根據(jù)歷史測試數(shù)據(jù)進(jìn)行初步判斷，識(shí)別符合目標(biāo)的最優(yōu)促銷方案。

三、AB測試有哪些坑？

方法論總是看上去很美好，但一到落地層面就會(huì)面臨很多意想不到的問題，下面就來扒一扒，按照上述AB測試的方法來做活動(dòng)效果評(píng)估及優(yōu)化會(huì)有哪些坑。

1） 測試組人數(shù)太少。測試組和實(shí)驗(yàn)組的人數(shù)不需要完全一樣，但各組的人數(shù)要保證有統(tǒng)計(jì)學(xué)上的意義，如果實(shí)驗(yàn)組10w人，測試組只有10個(gè)人，那么測試組的結(jié)果受個(gè)體的影響會(huì)很大，最終可能導(dǎo)致異常的結(jié)果。

2） 實(shí)驗(yàn)組人數(shù)太少。如果想要測試什么門檻的優(yōu)惠券效果更好，那么需要拆分多個(gè)實(shí)驗(yàn)組，發(fā)放不同的優(yōu)惠券，如果分的組太多，會(huì)使得每個(gè)實(shí)驗(yàn)組人數(shù)偏少，從而導(dǎo)致結(jié)果不準(zhǔn)確。

3） 你的測試組是別人的實(shí)驗(yàn)組?，F(xiàn)實(shí)環(huán)境下，不存在絕對(duì)干凈的試驗(yàn)田，你以為測試組可以代表用戶在不受干擾下的自然轉(zhuǎn)化，殊不知有其他活動(dòng)已經(jīng)將他們劃入了實(shí)驗(yàn)組。如果是公司內(nèi)部的沖突，那么可以在數(shù)據(jù)回流后剔除掉參與其他實(shí)驗(yàn)的用戶，但如果是受到外部友商的干擾，那么我們將無從知曉，只有通過多次實(shí)驗(yàn)綜合評(píng)估，對(duì)沖單次活動(dòng)可能會(huì)面臨的特殊情況。

4） 你的實(shí)驗(yàn)組是別人的實(shí)驗(yàn)組。同理，外部友商可能有更大力度的活動(dòng)，剛好圈定了你的實(shí)驗(yàn)組用戶，那么結(jié)果可想而之。

5） 干預(yù)時(shí)間滯后。從圈定用戶、申請(qǐng)優(yōu)惠券到最后的短信觸達(dá)，這個(gè)時(shí)間多少有些滯后，如果系統(tǒng)不判斷用戶是否已經(jīng)下單，那么用戶在下單之后才收到優(yōu)惠券，一方面會(huì)影響體驗(yàn)，另一方面，用戶可能取消訂單后再下單，導(dǎo)致履約成本的上升。如果在發(fā)送短信前剔除已下單用戶，那么最后實(shí)際干預(yù)的都是購買傾向相對(duì)偏弱的人群，會(huì)導(dǎo)致結(jié)果失準(zhǔn)。因此，營銷系統(tǒng)的完善性、各部門的協(xié)同執(zhí)行力都至關(guān)重要。

結(jié)語

現(xiàn)實(shí)世界紛繁復(fù)雜，想要抽絲剝繭，捋出頭緒談何容易。試驗(yàn)總會(huì)好過停步不前，在實(shí)踐之中，我們可以學(xué)著避開一個(gè)又一個(gè)的坑。

我們都在試圖去搭建一個(gè)框架，在這個(gè)框架下反復(fù)地探究，找到一絲可能的線索，最終，這些線索會(huì)編織起一個(gè)網(wǎng)絡(luò)。