A/B 测试样本量公式告诉您，每个版本需要多少访客，转化率的差异才有意义。对于95%置信度、80%统计功效的标准双侧检验，每个版本大约需要 n = (1.96 + 0.84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)² 个访客，其中 p1 是基线转化率，p2 是您希望检测到的转化率。
用真实的 B2B 数据代入这个公式，结果令人不安。转化率为3%的页面，要可靠地检测出20%的相对提升，每个变体大约需要14,000名访客。许多 B2B 页面一个季度都达不到这么多访客。下文将逐项讲解公式的输入、针对一系列基准转化率计算好的表格、在给定流量水平下测试需要多长时间，以及当答案是“八个月”时该怎么办。
我们的立场：大多数 B2B A/B 测试统计功效不足
首先说说数据所支持的观点。我们认为，大多数 B2B A/B 测试在数据还远远不够时就被叫停了，由此产生的许多“获胜版本”其实只是噪声。典型情形是：测试跑了三周，某个变体领先25%，出现绿色标记，改动上线，六个月后销售管道却看不到任何提升。
统计功效不足的测试会漏掉真实效果，白白浪费测试名额。更糟的是，当功效不足的测试真的越过显著性门槛时，测得的提升往往被高估，因为只有运气好的抽样才能过线。统计学家称之为幅度误差（M 型误差）。团队上线了一个可能毫无作用的改动，还在 CRO 报告中记下一个虚高的数字。上线前算好样本量，是成本最低的防护措施。
A/B 测试样本量公式
比较两个转化率的标准公式（双比例 z 检验）为：
每个变体的 n = [ zα/2 × √(2 × p̄ × (1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
每项输入的通俗含义如下：
- p1（基线转化率）：您正在测试的页面和目标的当前转化率。使用最近4到8周、针对确切转化事件和确切页面的转化率，而不是全站平均值。
- p2（目标转化率）：基线乘以（1 + MDE）。基线为3%、相对 MDE 为20%时，p2 = 3.6%。
- MDE（最小可检测效应）：您希望检测到的最小相对提升。这是一个业务决策，而不是统计决策。MDE 越小，所需流量越是急剧增加，因为差值（p2 − p1）在分母中是平方项。MDE 减半，样本量大约要增加到四倍。
- p̄（合并转化率）：p1 和 p2 的平均值。它描述的是在假设不存在真实差异时的噪音。
- zα/2 = 1.96：对应5%的假阳性率（alpha 0.05），由于变体可能更好也可能更差，因此分摊到两侧尾部。
- zβ = 0.8416：对应80%的统计功效，意思是如果真实提升等于您的 MDE，测试有80%的概率检测到它。另外20%的情况下，您会错过一个真正的赢家。
许多计算器使用第一段中所示的简化非合并版本。在 B2B 的转化率水平下，两者只相差几名访客。我们的 A/B 测试计算器使用上面的合并公式，并能估算测试时长。
分步计算示例
示例（示意数字）：一个演示申请页面的转化率为3%。您希望检测出20%的相对提升。
- 设定转化率：p1 = 0.030，p2 = 0.030 × 1.2 = 0.036。绝对差值为0.006。
- 合并比率：p̄ = (0.030 + 0.036) / 2 = 0.033。
- 第一项：√(2 × 0.033 × 0.967) = √0.06382 = 0.2526。乘以1.96：0.4951。
- 第二项：p1(1−p1) = 0.0291，p2(1−p2) = 0.0347。√(0.0638) = 0.2526。乘以0.8416：0.2126。
- 相加后平方：(0.4951 + 0.2126)² = 0.7077² = 0.5009。
- 除以差值的平方：0.5009 / 0.006² = 0.5009 / 0.000036 = 每个版本13,914个访客。
因此，在读取结果之前，这项测试总共需要约27,800名访问者，仅对照组就需要大约417次转化（13,914 × 3%）。作为交叉验证，简化的非合并公式得出每个变体13,911人，反正弦（Cohen's h）近似法得出约13,890人。三种方法的差异在0.2%以内。
B2B 转化率样本量对照表
下表套用上面的合并公式（双侧 alpha 0.05，统计功效0.8），基准转化率从1%（例如，繁忙页面上演示请求占全部访客的比例）到10%（例如，CTA 点击等微转化）。请使用您自己的基准值，这几行仅作参考。数值为每个变体所需访客数，用 Node.js 计算并向上取整。
| 基线转化率 | 10% 相对 MDE | 20% 相对 MDE | 30%相对 MDE | 50%相对 MDE |
|---|---|---|---|---|
| 1% | 163,095 | 42,693 | 19,827 | 7,750 |
| 2% | 80,682 | 21,109 | 9,798 | 3,826 |
| 3% | 53,211 | 13,914 | 6,455 | 2,518 |
| 5% | 31,234 | 8,158 | 3,780 | 1,471 |
| 10% | 14,751 | 3,841 | 1,774 | 686 |
把 MDE 从10%提高到50%，所需样本量大约减少到二十分之一。基线转化率翻倍，所需样本量大约减半。流量无法快速改变，但您可以选择测试改动的幅度和衡量的转化目标；对于小网站，这正是最关键的两个杠杆。
测试需要多长时间？
测试时长等于所需访客总数（两个变体合计）除以每月实际到达被测页面的访客数。下表显示了在三种流量水平下按50/50分流所需的月数。
| 页面每月访客数 | 基线 | 10% MDE | 20% MDE | MDE 30% | 50% MDE |
|---|---|---|---|---|---|
| 2,000 | 2% | 80.7 | 21.1 | 9.8 | 3.8 |
| 2,000 | 3% | 53.2 | 13.9 | 6.5 | 2.5 |
| 2,000 | 5% | 31.2 | 8.2 | 3.8 | 1.5 |
| 5,000 | 2% | 32.3 | 8.4 | 3.9 | 1.5 |
| 5,000 | 3% | 21.3 | 5.6 | 2.6 | 1.0 |
| 5,000 | 5% | 12.5 | 3.3 | 1.5 | 0.6 |
| 20,000 | 2% | 8.1 | 2.1 | 1.0 | 0.4 |
| 20,000 | 3% | 5.3 | 1.4 | 0.6 | 0.3 |
| 20,000 | 5% | 3.1 | 0.8 | 0.4 | 0.1 |
无论表格怎么说，每个测试都至少要运行满两周，让工作日和周末的行为以及任何广告活动高峰都在两组中得到体现。超过三个月的测试，大概就不应该以现有形式运行：在这么长的时间里，页面内容、广告活动和流量构成都会发生变化，结果描述的将是一个已经不存在的网站。
在每月 5,000 名访客、基线 3% 的情况下，50% 的提升大约一个月就能看出来，而 10% 的提升需要将近两年。没人会让一个页面两年不变，所以第二个测试会被提前停止，然后被当作有意义的结果来解读。
大多数团队犯的错误
- 在时长估算中使用全站流量。只有到达被测试元素的访客才算数。一个月访问量 20,000 的网站，价格页测试每月可能只有 2,000 名符合条件的访客。
- 在测试结束后才选定 MDE。如果您在上线前把 MDE 设为30%，而测试显示提升12%，那您得到的不是一个提升12%的赢家，而是一个没有结论的测试。
- 中途偷看结果，一看到绿色标记就停止。Evan Miller 的分析文章 How Not To Run an A/B Test 表明，反复进行显著性检验必然会提高假阳性率。在他的例子中（基线 50%，改动毫无效果，结果一达到 5% 显著性或满 150 次观测就停止），假阳性率是 26.1%，而不是名义上的 5%。
当计算结果显示需要几个月时：七个选项
1. 测试更大的改动
降低样本量最省钱的办法是如实提高 MDE，也就是测试足够大、确有可能产生该效果的改动：新的价值主张、不同的优惠（即时预约 vs 联系表单）、专为某个行业定制的页面而不是通用页面。我们的B2B 转化率优化指南介绍了如何按预期效果大小为测试想法排序。
2. 在流量更高的页面上测试
首页、热门博客文章和高流量落地页每月能为您带来更多访客（关于哪些页面通常承载最多决策阶段流量，请参阅我们关于 B2B 落地页优化的笔记）。在多个页面共用的模板（所有解决方案页、所有博客文章）上测试，可以把它们的流量汇集到一个实验中。
3. 谨慎使用微转化
CTA 点击或开始填写表单等微转化的基线更高，所以适用表中 10% 那一行，而不是 2% 那一行。问题在于：某个版本可能提高了点击，却降低了合格演示数。只有在有证据表明微转化与宏观目标同步变化时，才把它作为决策指标，并且始终同时报告宏转化作为护栏指标。
4. 先合并细分，之后再拆分
为每个细分群体单独运行测试会分散流量。请跨细分群体运行一个测试，然后仅将细分层面的结果作为方向性参考。如果您需要针对某个细分群体的明确答案，就必须仅按该细分群体的流量来确定测试规模。90天个性化测试路线图介绍了如何安排细分测试的顺序，让每个测试都获得足够流量。
5. 使用序贯测试
序贯设计（预先规划中期查看节点的成组序贯检验，或部分测试工具内置的始终有效方法）让您可以在测试过程中查看结果，并在效果很大时提前停止，而不会增加假阳性。代价是，如果测试一直运行到结束，最大样本量会略大一些。这是“偷看”结果的正当方式。如果一个测试需要好几个月，请先把预算花在会话录屏和表单分析等诊断类 CRO 工具上。
6. 考虑贝叶斯方法，并设定清晰的预期
贝叶斯 A/B 测试给出的是 B 优于 A 的概率，以及选错时的预期损失。这比 p 值更便于决策，还能让您做出明确的判断，比如“如果更优的概率高于90%且预期损失低于0.1个百分点就上线”。对于可回滚的改动，接受这种风险往往是理性的。
贝叶斯方法不会凭空创造信息。在先验较弱的情况下，要对20%的提升有把握，所需的数据量与频率学派表格中的大致相同。在很小的样本上得到90%的“胜出概率”依然很脆弱，而每天查看并设置停止规则，在实践中仍然会提高错误率。贝叶斯测试改变的是您表达不确定性和做决策的方式，并不会缩小不确定性。
7. 不要中途偷看，或者提前规划好查看节点
在上线前确定样本量，写进测试简报，未达到样本量之前不要宣布测试结果。如果相关方需要阶段性更新，请从一开始就采用序贯设计，而不是临时查看。我们的实验计划模板为每一项决策都设置了字段。
上线前检查清单
- 提取该页面和转化的基线转化率以及每月符合条件的访客数（过去 4 到 8 周）。
- 根据改动的大小选择 MDE，并把它记录下来。
- 用上面的公式或表格算出每个变体的 n，再算出时长。
- 如果所需时长超过约三个月，请重新设计测试（更大的改动、流量更高的页面，或者基准更高的指标并加上护栏）。
- 设定停止规则：固定样本量，或预先规划查看节点的序贯方案。
对 B2B 团队来说，最大的效果通常来自向不同访客展示不同内容，而不是为所有人打磨同一个页面，因为为某个细分撰写的信息，比换个按钮颜色的改动大得多。如果您正在简单的拆分测试和多变体或多因素测试之间做选择，请阅读我们的 A/B 测试与多变量测试对比，其中将同样的样本量计算应用于 A/B/n 和多变量设计。
当您准备好对针对细分的体验进行测试时，Markettailor 的个性化页面 A/B 测试可以让每个细分与对照组分流，并按细分跟踪结果，这样您计划的样本量就是您实际得到的样本量。
常见问题
A/B 测试样本量的计算公式是什么？
对于两个转化率，每个变体的 n = [1.96 × √(2p̄(1−p̄)) + 0.8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)²，其中 p1 为基线，p2 为目标转化率，p̄ 为两者的平均值。这里假设95%置信度（双侧）和80%统计功效。
转化率为2%时，A/B 测试需要多少访客？
在95%置信度和80%统计功效下，检测20%的相对提升每个变体约需21,100名访客，检测30%的提升约需9,800名，检测50%的提升约需3,800名。测试总流量为这些数字的两倍。
贝叶斯 A/B 测试需要的样本量更小吗？
差别不大，除非您有充分合理的强先验。贝叶斯测试的输出更直观（胜过对照组的概率、预期损失），并支持基于风险的决策，但要对某一提升幅度有把握，所需的数据量与频率学派的计算结果相近。
B2B 网站应该使用多大的最小可检测效应？
根据您的流量来确定 MDE，而不是凭一厢情愿。按页面流量计算六到八周内能检测到的效应，然后只测试那些足以合理带来这种提升的大改动。在上面的时长表中，一个每月5,000名访客、基线转化率3%的页面，三个月内只能识别约30%或以上的提升。
如果 A/B 测试已经显著，可以提前停止吗？
标准的固定样本测试不行，因为反复查看结果会推高假阳性。如果您需要保留提前停止的选项，请使用序贯测试设计，并在上线前规划好中期分析。