A/B 测试实现方法和案例

「A/B 测试」已经听说很久了,业内也被传的神乎其神,在此之前其实对它并没有很深地认知。这次借 极客学院官网改版 真实的将 A/B 测试用于到实战中,下面说说我本次的一些经历。

需求

我们在这次改版中的需求其实很简单,针对「首页」进行 A/B:
1、对终端用户来说,首页 URL 得唯一:www.jikexueyuan.com;
2、随机分配 A 或 B。

实现方案

实现细节中最难的就是同一用户不同设备访问,我们最终选择了 UID 优先的方案。

1、未登录
第一次访问,会随机出方案 A 或 B,然后将值存入「cookies」;
下次再来,只要 cookies 里有值,就直接显示原来的方案 A 或 B。

2、登录
登录之后,将 UID 和方案绑定,以后无论在那个终端上登录之后都是对应方案。

总结

现在想想,我们这次好像不是理论意义上的 A/B,因为 A/B 需要将变量控制在单一元素,进一步通过数据表现出好与不好,最终选定方案,下线不好的方案;而我们这次的首页完完全全就是两个单独的页面,没有一点类似的元素。

1、优势
a)不用服务器端存储,节省很多的开发成本;
b)用户无感。

2、弊端
a)不同终端未登录时分配的方案可能不一样;
b)登录之后与未登录可能分配的方案不一样。

A 方案

B 方案

Author: Vincent 4J

about.me/vincent4j

Leave a Reply

Your email address will not be published. Required fields are marked *

To create code blocks or other preformatted text, indent by four spaces:

    This will be displayed in a monospaced font. The first four 
    spaces will be stripped off, but all other whitespace
    will be preserved.
    
    Markdown is turned off in code blocks:
     [This is not a link](http://example.com)

To create not a block, but an inline code span, use backticks:

Here is some inline `code`.

For more help see http://daringfireball.net/projects/markdown/syntax