2010
06.05
06.05
一年前,在做A/B test时,假设A方案是抽样n个用户显示A界面,达到的转化率是a,B方案是随机抽取m个用户显示B界面,达到的转化率是b,两个样本在同一时段时行抽取,互不重复。
如果a>b,那么我们认为A界面对提升转化率更好。(假设其它条件都不变)实际上并非如此。
因为这有可能是随机抽样误差造成的,并不真的是A比B更好。为了检验A是不是真的比B好,我们需要利用卡方检验去判断。
在这种情况下,在spss中新建一个数据集,第一列变量表示A/B两个组,第二列变量表示是否转化,第三个变量表示频数,也就是有多少人转化,有多少人没有转化。
最后一共有4行,如下:
| 分组 | 转化变量 | 频数变量 |
| A | 转化 | A1 |
| B | 转化 | B1 |
| A | 未转化 | A2 |
| B | 未转化 | B2 |
然后对第三个频数变量进行“加权个案”,也就是标示出这个是频数变量,然后选择描述统计中的交叉表,进行卡方检验,似然比那一项在0.05以上就是没有差别了。
看起来没有什么大用,但如果是在做一些重要决策的时候,这个是很有帮助的。比如你要不要对某一类用户显示广告,或者是否对他们显示搜索框,在做这种判断的时候,卡方检验a/b test的结果就很重要了。当然,如果你做a/b test的范围是针对所有用户,那就用不着检验了。
挺可行的,