计算器的工作原理
样本量标签页使用比较两个转化率的标准公式，即双侧双比例 z 检验：
每个变体的 n = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 是您所测试的具体页面和目标的基准转化率。
- p2 等于基准乘以（1 + 最小可检测效应）。
- p̄ 是 p1 和 p2 的平均值。
- 在95%置信度下，zα/2 为1.96；在80%统计功效下，zβ 为0.84。
当有多个变体时，计算器会用 alpha 除以与对照组比较的次数（Bonferroni 校正），使整体假阳性率保持在您所选的置信水平。我们的 A/B 测试样本量指南逐步讲解了公式，并附有常见 B2B 转化率的对照表。
实例演示
示意数字：一个演示申请页面的转化率为3%，每周有2,000名访问者。您想知道新标题能否让转化率至少提升20%，因此 p2 为3.6%。计算器得出每个变体约需13,900名访问者，总计27,800名，相当于14周的流量。这就是许多 B2B 页面的真实情况，也是该工具会标记任何超过一个季度的测试的原因。
缩短测试时长的三种方法：测试更大胆的改动，把最小可检测效果提高到30%或以上；衡量发生更频繁的事件，例如点击进入演示页；或在流量更高的页面上运行测试。如果您正在 A/B 测试和同时测试多个元素之间做选择，请先阅读 A/B 测试与多变量测试，因为多变量测试需要多得多的流量。
解读显著性结果
显著性选项卡比较两个已完成的分组。假设对照组有5,000个访客、150次转化（3.0%），变体组有5,000个访客、190次转化（3.8%）。相对提升为26.7%，p 值约为0.027，差值的95%置信区间约为0.1到1.5个百分点。结果是显著的，但区间很宽：真实提升可能很小。请把测得的提升视为偏高的估计，尤其是在测试提前停止的情况下。
关于低流量 B2B 网站应该先测试什么，请参阅我们转化率优化指南中的测试部分。如果您测试的是个性化体验而非单个页面改动，Markettailor 的A/B 测试功能可按访客细分设置对照组。
常见问题
A/B 测试需要多少访客？
这取决于您的基线转化率以及您想检测到的最小提升幅度。在3%的基线下，以95%的置信度和80%的统计功效检测20%的相对提升，每个变体大约需要13,900名访问者。想检测的提升幅度减半，样本量大约要增加到四倍。
A/B 测试的统计显著性是如何计算的？
该计算器使用双侧双比例 z 检验。它合并两组数据来估计在不存在真实差异时预期的噪声，用观察到的转化率差异除以该标准误，再将得到的 z 值转换为 p 值。p 值低于0.05即在95%置信水平下显著。
A/B 测试应该运行多长时间？
直到达到上线前计算出的样本量，且至少运行一整周，以同时涵盖工作日和周末的行为。上面的时长估算用总样本量除以被测页面的每周流量。
A/B 测试一达到显著就可以停止吗？
不行。反复查看结果并在第一次出现显著读数时停止，会让假阳性率远超5%。请事先确定样本量，达到后再读取结果，或者使用专为持续监控设计的方法，例如序贯检验。
如果我的 B2B 网站流量不足以做 A/B 测试怎么办？
测试更大的改动，选择发生更频繁的转化事件（例如点击进入演示页，而不是已预约的演示），在流量最高的模板上测试，或者接受更长的测试周期。如果一个测试需要超过一个季度，请改用定性研究和对照组比较。