2010
06.05

一年前,在做A/B test时,假设A方案是抽样n个用户显示A界面,达到的转化率是a,B方案是随机抽取m个用户显示B界面,达到的转化率是b,两个样本在同一时段时行抽取,互不重复。

如果a>b,那么我们认为A界面对提升转化率更好。(假设其它条件都不变)实际上并非如此。

因为这有可能是随机抽样误差造成的,并不真的是A比B更好。为了检验A是不是真的比B好,我们需要利用卡方检验去判断。

在这种情况下,在spss中新建一个数据集,第一列变量表示A/B两个组,第二列变量表示是否转化,第三个变量表示频数,也就是有多少人转化,有多少人没有转化。

最后一共有4行,如下:

分组 转化变量 频数变量
A 转化 A1
B 转化 B1
A 未转化 A2
B 未转化 B2

然后对第三个频数变量进行“加权个案”,也就是标示出这个是频数变量,然后选择描述统计中的交叉表,进行卡方检验,似然比那一项在0.05以上就是没有差别了。

看起来没有什么大用,但如果是在做一些重要决策的时候,这个是很有帮助的。比如你要不要对某一类用户显示广告,或者是否对他们显示搜索框,在做这种判断的时候,卡方检验a/b test的结果就很重要了。当然,如果你做a/b test的范围是针对所有用户,那就用不着检验了。

已有 1 个回复

添加回复
  1. 挺可行的,

(测试中)用'@user空格'可通知其Ta评论者,user的大小写得一致