什么是 A/B 测试？定义与实例详解

A/B 测试是一种随机对照实验：访客被随机分配到页面、邮件或功能的两个版本——对照版（A）和变体（B）——然后比较预先定义的指标，看两者之间的差异是否大于偶然因素所能解释的范围。这是判断某项改动是否真正带来改善（而不只是恰好同时发生）的标准方法。

这种方法在线上产品中已相当成熟；Kohavi 等人的实用指南至今仍是标准参考资料（Kohavi et al., "Controlled experiments on the web", Data Mining and Knowledge Discovery, 2009）。

A/B 测试的原理

假设与指标。说明改动内容、预期效果以及一个主要指标，例如演示申请率。
随机分组。每位访客被随机分配到 A 组或 B 组，并在回访时保持不变，这样两组之间唯一的差别就是改动本身。
样本量。根据基线转化率、值得检测的最小提升（最小可检测效应）、显著性水平和统计功效，事先确定每个版本需要多少访客。
运行。让测试达到该样本量，最好覆盖完整的若干周。不要因为某一方看起来领先就提前停止。
分析。比较转化率。如果在实际上毫无差异的情况下，这么大差距出现的概率低于 5%，那么结果在 5% 水平上具有统计显著性。

有两个关键设置。显著性水平（通常为5%，常称为95%置信度）控制假阳性。统计功效（通常为80%）是在效果真实存在时检测到它的概率；功效不足的测试大多只会得出“没有结果”。

示例

示例：一个演示页的转化率为3%。您希望在5%显著性水平和80%统计功效下，用双侧检验检测出20%的相对提升（从3.0%到3.6%）。标准的两比例公式为：

每个变体的 n = [z_α/2 x √(2 p̄(1 − p̄)) + z_β x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²

p₁ = 0.030，p₂ = 0.036，p̄ = 0.033，z_α/2 = 1.96，z_β = 0.84
第一项：1.96 x √(2 x 0.033 x 0.967) = 1.96 x 0.2526 = 0.495
第二项：0.84 x √(0.0291 + 0.0347) = 0.84 x 0.2526 = 0.213
分子：(0.495 + 0.213)² = 0.501；分母：0.006² = 0.000036
每个版本 n ≈ 13,900 名访客，总计约 27,800 名

该页面每周有2,000个访客，测试大约需要14周。这正是有用的结论：在动手之前，您就知道这个页面无法在合理时间内支撑一个检测20%提升的测试，所以您可以测试更大胆的改动、换一个流量更高的页面，或者直接上线并监控。您可以用我们的 A/B 测试计算器或 Evan Miller 的样本量计算器复现这个数字。

A/B 测试、A/B/n 测试与多变量测试对比

	A/B	A/B/n	多变量测试（MVT）
变化的内容	一个对照组对一个变体	一个对照版本 vs 多个变体	同时测试多个元素的所有组合
所需流量	最低	随每个变体增加	最高：流量分散到所有组合中
回答的问题	B 比 A 好吗？	几个版本中哪个最好？	哪种元素组合有效？它们之间是否相互影响？
适合	大多数 B2B 页面	有实际流量的标题或优惠	仅限高流量页面

Nielsen Norman Group 总结了其中的取舍：多变量测试适合在高流量页面上做渐进式微调，而 A/B 测试可以比较截然不同的设计（NN/g, "Multivariate vs. A/B Testing"）。

B2B 团队如何使用 A/B 测试

测试演示和联系表单的长度与措辞。
比较高流量落地页上的价值主张和标题。
验证个性化：细分专属内容与通用页面对比，设保留组。
价格页布局与套餐展示方式。
在数量允许的情况下，邮件主题和培育内容。

常见问题

A/B 测试应该运行多长时间？

直到达到上线前计算出的样本量，且至少运行一整周（最好两周），以覆盖每个工作日。用每个变体所需访问者数除以每个变体的每周流量，即可估算时长。如果结果是好几个月，说明按当前设计这个测试不可行。

多大的最小可检测效应比较合适？

考虑到改动的成本，值得采取行动的最小提升幅度。低流量的 B2B 页面通常需要更大的最小可检测效应（往往是20%或更高的相对提升），才能在合理时间内完成。较小的效应可能真实存在，但需要多得多的流量，因为样本量大致与效应的平方成反比。

流量低也能做 A/B 测试吗？

可以，但要测试更大的改动，选择漏斗中流量最高的环节，并挑选一个频繁发生的指标，比如点击进入演示页面，而不是成交。如果连这样都太慢，就基于研究做出改动并监测前后变化，同时接受证据较弱这一事实。

什么是 A/B 测试？定义与计算示例