单变量、多变量、“颠覆性设计”测试

单变量测试就是只测试一个变量的多个值，就是我们平常说的A/B test。注意啦，a/b测试不只是有a/b两个版本， a/b/c/d/e/f/g一样是a/b test!!。

多变量测试呢，就是说会存在多个变量，比如变量是logo的大小，颜色，布局，logo大小有3个值，颜色有3个值，布局也有2个值，需要测试的版本就有3*3*2=18 ！这就是所谓的全因子实验设计。不过一般制造业不会这样子，成本太高了，于是就有了正交实验设计。这样可以在短时间找到显著较优的方案，但并不适用于互联网！

颠覆性设计就是的全新的（Radical redesigns），多用于新产品，totally different，测试look-and-feel。

网页的测试可以有很多好处，那什么时候用A/B，什么时候用多变量呢？

A/B test的适用条件

1. 新手！
2. 只有一个变量要测试（废话）
3. “全新设计”（一点一点来实在太慢了！）
4. 流量太低，多变量测试导致统计上不显著

多变量测试的适用条件

1. 流量足够、有多个变量
2. 追赶业内老大
3. 无法测试“全新设计”

但这里提到5种A/B测试和多变量测试的误区会让你误入歧途，SO，不要犯这样的错误。

1. 网站分析程序有不是最优的。

在开始测试前，先确定分析程序是OK的，这样不仅可以保证你测试前的分析是正确的，测试过程和测试后也可以正确运行。（补充一下，就是要保证分析之前，采集数据的方法统一。即使有误差那也都存在误差，互相比较时不会把你带到沟里。）

2. 没有用户细分

平均的综合性的指标会掩盖真正的问题。比如说你在测试出网站平均跳出率为59%，如果你去按用户类型细分，新用户可能是74%，回访用户可能是38%。所以目标应该是降低新用户的跳出率。

同样这种情况存在于国内用户与国际用户，邮件订阅者……可悲的是，不是所有程序都能对用户细分。

（补充：正确的用户细分与业务结合得非常紧密，一般需要经过建模，通过合理的变量来细分用户。这样才能实现更有效的细分）

3、使用错误的度量

4、测试时间过短。学习一下统计知识，均值检验、卡方统计等等，不要过早宣判一个版本的胜利。

以上内容大多取自http://www.getelastic.com/5-common-ab-multivariate-testing-mistakes/，围观请移步.

首先看看横轴所解释的百分比是否占大部分。（这张图dimension 1占了60％，就是大部分）

其次看品牌和特性分别在横轴和纵轴上的投影方向。

若品牌和特性在横轴上的投影方向相反，且距离的绝对值适中，则不能认为该品牌与此特性关系密切。

若品牌和特性在横轴上的投影方向相同，且距离的绝对值很小，（Hang与M45在横轴上方向相同，距离超小）。但两者在纵轴上的投影方向相反，且图中，Hang与M45对应分析距离的绝对值适中，此时，仍可认为Hang与M45有一定的关系。

上边的分析说清楚了吗～？

欢迎实战派跟帖～

在市场研究中，我们经常需要对市场、用户细分，做不同的用户角色，用得最多的就是聚类分析了。不过这种方法属于探索性分析，需要分析人员非常了解业务，并且知识如何运用聚类的结果，才能高效地分析出有效的结果。

SORRY，我不谈具体分析的技术细节，比如标准化，用相似性算法还是距离的算法，那些不重要，重要的是与业务结合的分析思路——结果导向。

在聚类分析中，最关键的就是聚类变量的选择与样本的代表性，其它什么正态分布之类的东东没意义，唯一一个问题就是不能有高度的相关，否则只是给一个变量赋上了更多的权重而已，如果有这种情况，——我们先对变量聚类，或者用因子分析来解决，找到关键变量，然后选择关键的变量来对个体聚类，最终达到我们的目的——细分用户与市场。

好吧，谈谈变量的选择。假设我要对某微博的用户做细分，指导产品的设计与推广，那么我需要怎样采集数据？

第一，明确细分的标准——用来聚类变量是什么？

如果你了解业务，就会知道，我们更多地用需求特征来对用户分类。比如文本内容偏好——生活？记录？还是其它？图片发表量？转发量？

有时候，我们还会用与行为变量高度相关的态度变量，一起作为聚类的变量，这样整个模型就更完整。

第二，用户对不同设计效果的态度、用户来源的渠道。

因为我要指导产品的设计，我就要知道这些用户喜欢什么色彩了，什么风格的设计。分类完成好，我需要用这些数据来检验聚类的结果——聚类结果与其它变量交叉分析，

又比如去做对应分析，不同的类别离原点越远越好。如果聚类的群体之间行为、态度、人口特征不明显，那说明聚类结果不OK。

这里简单提一下TGI（目标群体指数分析），当群体的变一变量的比例与总体的比例差异超过15%（也有人认为是20%），那么就认为差异是显著的。

为什么要差异显著呢？因为这样才会对业务有指导意义。

以上都是野路子，欢迎探讨：）至于技术细节，百度去！！

偶的email：huangzhe.84@gmail.com

庄 主 @ 2009-10-31:

抱歉，拖了将近一个月才回复你的问题。最近较忙，忙的原因之一是做有关博客写作的可持续性研究（好像就 是在研究我自己为什么不能持续写博客）。

你的问题涉及了样本量和统计显著性两个概念，为了理解两者之间的关系，还需要引入其它三个概 念：errors in inferential decision（推断决策中的错误）、power of analysis （检验效能）、strength of relationship 或effect size（关系强度或效应规模，注1）。

我们从统 计显著性开始，因为大家在看一个统计分析（如相关、回归、方差等）的结果时，总是首先看其显著性（即p值是否小于预设的α值，如 0.05），然后据此而做出相应的推断决策。如p<α则拒绝零假设、p>α则接受零假设。大家知道，尽管有上述p值做依据，这种决策还可能含 有误差。如当p<α时，也许零假设还是对的，这时就有犯概率为p的Type I error（型一或“拒真”错误）。相反，如当p>α时，也许零假设却是错的，这时就有犯概率为1 - p的Type II error（型二或“纳伪”错误）。相信大家都看过这些老套的话，但也许不知道这些老土道理是解决很多困惑（包括丁丁的问题）的基本原理。

丁 丁关心的是在大样本条件下犯型一错误的可能性。我们先看一下他（她）的例子：有两个均值，分别为3.7和3.5，各自的标准差均为1.0，由于不同样本量 而出现了以下两种情况：

一、当N = 100时，两个均值的联合标准误差 = = 0.14（注2），检验两个均值之差的t = (3.7-3.5)/0.14 = 1.41，其相应的p = 0.160（注3）。

二、当N = 200时，两个均值的联合标准误差 = = 0.10，检验两个均值之差的t = (3.7-3.5)/0.10 = 2.00，其相应的p = 0.047。

可见，随着样本的增大，原来不显著的差别现在显著了，这合 理吗？就型一错误而言，完全合理。当N = 100时，如果我们拒绝零假设（即3.7 = 3.5），拒真（“真”= 零假设）的风险由16.0%，太大了，不能容忍；而当N = 200时，拒真的风险降为4.7%，在可以容忍的范围内，所以是合理的。

那 么，统计上显著的就一定是实际上重要或有意义的吗？自然不是。问题是我们如何判断一个统计显著的结果是重要或有意义？丁丁想知道的大概就是这种判断根据。 这种根据，就是我们说的关系之强度或效应之规模（而不是样本最大量问题）。

判断关系强度或效应规模的一个直观（即非正式）准则是两个均 值之差要大于均值的十分之一（注4）。如在本例中，均值之差为0.2、远小于均值的十分之一（0.35或0.37，取决于我们以那个均值为比较基准），显 然，即使当N = 200时0.2的差别是统计显著的，但其差别还比较小（相对于均值的取值），没有特别的意义。

判断关系强度或效应规 模，还有很多更正式的准则，如Pearson’s r（用于关系强度）或Cohen’s d（用于均值之差，注5），两者还可以互相转换（注6）。在本例中，Cohen’s d = 0.2（注7）。按照Cohen的说法，如果d值小于0.3，效应规模为small（小效应）、如果d值在0.5附近，效应规模为medium（中效 应），而如果d值在0.8以上效应规模则为large（大效应）。

我们也可以将d转换成Pearson’s r = 0.1。一般说来，r = 0.1 也是一个弱相关。

下图是对以上讨论的一个小结（包括丁丁问题的反面，即如果统计分析的结果不显著 时，大样本有什么好处或坏处）。

上图也间接回答了丁丁最后引用的问题“统计 学家可以证明任何事吗？”。是的，统计学家可以通过提高样本来拒绝零假设，但是，统计学家无法控制关系的强度或效应的规模。如何提高关系的强度或效应的规 模？这既是一个理论问题、也是一个（数据收集）方法问题。本庄以前曾有涉及、日后有机会还会讨论，这里就不扯开去了。

注释：

注1：两者同义。关系强度多半用于相关或回归分析而效应规模多半用于方差分析。

注2：丁丁没有交代是两个独立样本还是两个非独 立样本，我们假定是前者。

注3：双尾检验。p值可以根据给定的t值和自由度数，用Excel里的TDIST函数求出。

注 4：所以一般说来，做社会科学研究的学生最好分别修一门专讲数据收集方法课和一（至数）门统计课。

注5：, 此外还有其它很多与Cohen’s d大同小异的计算均值之差的效应规模的公式。

注6：

注7：算了老半天，d等于均值之差，这是因为两个 组的样本量相等，否则会有所不同或很不相同。

如果a>b，那么我们认为A界面对提升转化率更好。（假设其它条件都不变）实际上并非如此。

因为这有可能是随机抽样误差造成的，并不真的是A比B更好。为了检验A是不是真的比B好，我们需要利用卡方检验去判断。

在这种情况下，在spss中新建一个数据集，第一列变量表示A/B两个组，第二列变量表示是否转化，第三个变量表示频数，也就是有多少人转化，有多少人没有转化。

最后一共有4行，如下：

然后对第三个频数变量进行“加权个案”，也就是标示出这个是频数变量，然后选择描述统计中的交叉表，进行卡方检验，似然比那一项在0.05以上就是没有差别了。

看起来没有什么大用，但如果是在做一些重要决策的时候，这个是很有帮助的。比如你要不要对某一类用户显示广告，或者是否对他们显示搜索框，在做这种判断的时候，卡方检验a/b test的结果就很重要了。当然，如果你做a/b test的范围是针对所有用户，那就用不着检验了。

我在帮彬同学翻译uxexchang.com的内容，感觉不错，以后会专注于mobile类的翻译。然后会慢慢扩展到iphone这些标签。

产品需求：

• 调研-做了7份问卷，开始用满意度理论、消费者行为学理论做为支撑去设计整份问卷；学会使用置信度去忽悠同学。2010要把学到的因子分析、聚类等常用统计学知识应用到实践中去，让问卷更有说服力，让所有的leader都来找我们要分析结果。继续向小蚊子乐园学习。
• 用户访谈-年初实践了一次公司内的焦点小组，不堪回首，还是field research靠谱。
• 评审：推需求优先级参考模型，实践中完善。

推荐算法：

简单了解了slope one，bayes，EM。今年把slope one做为内容推荐的算法应用到相关的产品，目标提升点击率50%。

Scrum

做为产品负责人在n个冲刺期里战斗，针对现有的资源进行了流程的优化（短周期，快速原型，每天检查产出品提improvement）。今年打算把这些流程带给未来的产品经理们，应用所有大型项目的开发中，估计能节省20%的时间。

语言、工具

• GTD-习惯了remember the milk
• Axure：对变量的应用已驾轻就熟，hoho，可制作出高保真原型。今年要把之前的原型分类整理好，share给未来的PM们。
• FLASH、CSS、XHTML，一直没退步，也没有前进，这些越来越专业了，以后是前端的活，2010跟进一些新交互的应用即可。

其它：

学习基本的测试方法，改善我们的Q，把所有产品上线后一周内产生的BUG给降50%；SEO在mobile上用武之地更大，可惜公开资料少，慢慢摸吧；最后，还漏了什么没，不记得了，英语！！

先使用定性，解决WHO，对成本、舒适度进行简单划分，可以得出以下的类型：

第一块是出行的人

1. 不计较成本，高舒适。（这些是少数，不在需求范围内）
2. 对舒适度有一定要求，需要考虑经济因素，而且珍惜时间——大量的需求在这。假设这类用户为A。
3. 不得不因经济因素降低对舒适度要求——公车族，11路，这些是潜在用户B，如果能在短时间内拼到车，何乐不为。

所以呢，拼车王帮A省了钱，帮B节省了时间，提高了舒适度。

第二块是帮别人解决出行的人

1. 白的士，他们想多赚钱养家，不要每天都跑12小时。（车主一般都不开车，都是承包出去的。）
2. 黑的士，安全，不要被钓鱼了；多赚钱。（如果想让黑车也进入这个平台，甚至要做一些规则的限制）
3. 私家车主：节省油钱，出门顺路带几个人。这年头我买了车肯定会干这事，说不定还会有艳遇。

So，拼车王可以帮的士降低空驶率，因为他增加了打的的人群（A的减少远小于B的增加）。

对于第一块的who和私家车主来说（的士24小时供给），接下来是When，出行的情况无外乎以下两种：

1. 有固定频率的：如上下班，节假日。这个传统互联网的拼车平台也可以解决，但手机扩大了用户范围（更多的B类用户）。
2. 即性需求，当你决定要去哪时，手机一定在身边，电脑则不，所以手机的平台离用户更近，一决定要做某事可以立即发出任务请求。

OK，需求的主体已经出场，下一季，How to make money？

我就暂且把这个平台叫拼车王，基于移动网络上的拼车王平台比传统互联网更有价值。

设想一下这种情景：

now：18:00，吃饭中，20去中华广场KTV，想打的，可惜那种鬼时间怎么打得到的呢？淘手机上拼车网，搜索是否有人同路，有没有空位，yes->加入，人数达到要求，系统发送通知，直接联系（make a call or QQ or fetion）。NO->发布任务“中华广场”出发点、目的地、最少人数、见面地点，等待其它人加入。

这时候，司机大叔A睡醒了，登录拼车王，选定已符合条件的任务，开车接人。

到达地点，现金结算？No,We have alipay，AA就完事。

是不是很扯淡，No，我们看一下市场的数据。

• 的士空驶率超高，北京上海的超50%，广州45%。
• 油价上升，空驶成本上升。每空驶1公里，就要多赔将近0.22元
• 降低生活成本（时间+金钱）

这个平台，提升的是出租行业的整体效率。而且还可以有效降低汽车尾气排放（假设空驶里程比增加的载客里程多）。

移动网络比传统平台的优点：

1、需求非同一个量级：我们出门在外时，对导航的需求远远超出呆在家、办公室里对导航的需求，由此产生的衍生需求->交通工具选择也必定超大大的。

2、即时性，传统互联网拼车平台效率过低，无法即时联系、即时发布，移动网络的先天优势是注定滴。

缺点是什么？暂时没细想，有兴趣的朋友，可以拍砖。