我知道A/B Test还是从几年前的一位女产品经理那里听到的,然后专门去搜索了一下这到底是个什么东西,才对它有个大概的认识。前些时间看了一些文章说今日头条与国外的一些游戏公司搭建了一套系统,能够非常方便的使用A/B测试来推出新的功能,看到这个的时候我自己挺震惊的,没有想到A/B测试还可以这么玩啊。
A/B测试是什么
就是说对于一个需求有存在大于一种方案的时候(一般会有两种方案),每种方案都有优缺点但是难以取舍,即方案A与方案B,从整体用户中挑选样本量相同的两组样本,一组应用方案A,另外一种应用方案B。然后在一定的观察周期后(基本是1到2周吧),观察两组方案的数据指标,数据优的那个方案就可以合入到主干版本中去全量发行了。
A/B测试的优点
- 是一种科学的线上预测方法,基于样本可以代替总体的统计学原理,很容易看出哪种方案更优。
- 数据化决策,以线上实际结果为导向,符合数字化世界的发展趋势。
- 搭建测试框架,使得A/B测试这种方法可以很快的流水化进行,比传统的产品经理更能把握产品的走向。
A/B测试的缺点
- 实现成本较高,使用它的前提是会形成犹豫不决难以取舍的多套方案
- 结论得出的周期较长,一般都需要一到两个自然周。
总结
- 该方法是一种很棒的方法,思想兼具灰度与线上对比,让用户来决定他们需要的。值得所有的产品使用。
- 最好的搭建一套框架,使得该测试可以流水的进行,形成一种常态的测试模式,是产品决策中关键的一环。