实验计划模板会迫使您做出大多数 A/B 测试跳过的决定：您究竟预期会发生什么、由哪个单一指标决定胜负、需要多少访客，以及什么时候可以停止。在上线前把这些写下来，是防止把噪音误读为结果的成本最低的方法。下面的模板每个测试一页。将其复制到您的文档工具中，或下载 CSV 格式的模板，在电子表格中管理测试待办列表。
它是为 B2B 的流量水平设计的，在这种水平下单个测试可能就要几周。如果您以前没有规划过测试，请先阅读我们的转化率优化指南，了解低流量下哪些内容值得测试。
A/B 测试计划模板
在测试上线前填写每一行。空着的一行，就是您最终会在看到数据后才做的决定——而这正是计划要避免的。
| 板块 | 字段 | 要写什么 |
|---|---|---|
| 1. 背景 | 测试名称和 ID | 简短、便于搜索的名称，例如“DEMO-07 五字段表单” |
| 负责人 | 由一个人负责启动、监控和报告测试 | |
| 支撑依据 | 促使您选择这项测试的数据、录屏或客户原话 | |
| 2. 假设 | 变化 | 对照组和变体之间的具体差异 |
| 预期效果 | 哪个指标会变化，朝哪个方向变化 | |
| 原因 | 您认为这会发生的原因，用一句关于买家行为的话说明 | |
| 3. 指标 | 主要指标 | 决定结果的唯一指标，附带精确的事件定义 |
| 护栏指标 | 不能变差的指标（线索质量、跳出率、页面速度） | |
| 次要指标 | 有参考价值但不具决定性（滚动深度、点击进入价格页） | |
| 4. 受众 | 页面 | 纳入测试的 URL |
| 包含哪些人 | 所有访客，或某个细分人群，例如付费流量或某个公司规模区间 | |
| 被排除的对象 | 现有客户、内部流量、机器人 | |
| 流量分配 | 两组通常各占50% | |
| 5. 统计 | 基线转化率 | 该页面、该指标最近4到8周的数据 |
| 最小可检测效应 | 值得采取行动的最小相对提升 | |
| 置信度和统计功效 | 通常为95%和80% | |
| 每个变体的样本量 | 来自 A/B 测试计算器 | |
| 计划时长 | 样本量除以每周流量，向上取整到整周 | |
| 6. 规则 | 停止规则 | 何时解读结果（达到样本量时，绝不提前） |
| 终止规则 | 什么情况下会提前终止（变体故障、护栏指标下降） | |
| 决策规则 | 结果为胜出、落败或无定论时，分别上线什么 | |
| 7. 结果 | 运行日期 | 开始和结束日期 |
| 每组结果 | 访客、转化、转化率 | |
| 显著性与区间 | 差异的 p 值和置信区间 | |
| 决策与学习 | 您上线了什么，以及从中了解到哪些关于买家的信息 |
如何填写
- 从证据出发，而不是从想法出发。第 1 部分要回答为什么要做这个测试。好的来源包括：流失异常的漏斗环节、会话录像、销售通话记录、CRO 审计检查清单中的发现。“CEO 想换个新主视觉”不算证据。
- 写一个可证伪的假设。“如果我们把演示表单从九个字段减到五个，每位访客的演示提交量就会上升，因为买家在还没看到产品时就被问预算，会选择放弃。”没有理由的假设，失败时什么也教不了您。
- 选一个主要指标。如果选三个，其中一个很可能会偶然变动，而您会忍不住宣布胜出。
- 搭建之前先确定测试规模。把基线和最小可检测效应输入计算器。如果测试需要超过一个季度，就调整计划：测试更大的改动、使用频率更高的指标，或选择流量更高的页面。我们的A/B 测试样本量指南解释了其中的取舍。
- 提前约定决策规则。确定“无定论”对您意味着什么。许多 B2B 团队在结果持平时上线更简单的版本，只要在上线前写明，这就是一条不错的规则。
示意性的填写示例
一家虚构 B2B 软件公司的示意数字。
| 字段 | 入门 |
|---|---|
| 测试名称 | DEMO-07 五字段演示表单 |
| 证据 | 表单分析显示，大多数放弃发生在“预算”字段；销售也确认首次通话中并不使用这个字段 |
| 假设 | 将表单从九个字段减到五个，能提升每位访问者的演示提交量，因为买家在看到产品之前不愿透露预算 |
| 主要指标 | 演示表单提交数除以 /demo 的独立访问者数 |
| 护栏指标 | 被销售认定为合格的提交占比下降不得超过四分之一 |
| 受众 | /demo 的所有访客，排除已登录客户和内部 IP；50/50 分流 |
| 基线 | /demo 页面访客中有8%提交 |
| 最小可检测效应 | 相对提升20%（从8.0%到9.6%） |
| 样本量 | 在95%置信度和80%统计功效下，每个版本约需4,900个访客 |
| 时长 | /demo 每周约有 1,500 名访客，因此总共约 9,800 名访客需要 7 周 |
| 停止规则 | 在满7周或两组均超过4,900名访客之后读取结果，以较晚者为准 |
| 终止规则 | 如果变体表单无法提交，或前两周合格率下降一半，则停止 |
| 决策规则 | 胜出：上线五字段版本。落败：保留九字段。无定论：上线五字段版本，因为它更简单，缺失信息由数据丰富补上 |
测试待办清单
CSV 下载文件还包含一张待办列表，方便您在撰写完整计划之前对测试进行排序。每个构思一行：
| ID | 页面 | 构思 | 证据 | 影响（1-3） | 置信度（1-3） | 易实现程度（1-3） | 评分 | 所需周数 | 状态 |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | 五字段表单 | 字段流失 | 3 | 2 | 3 | 8 | 7 | 计划 |
| HOME-03 | / | 行业专属首屏 | ICP 访客跳出率更高 | 3 | 2 | 2 | 7 | 10 | 构思 |
得分高但需要超过 12 周的想法，更适合用对照组比较或个性化规则来验证，而不是传统的 A/B 测试。关于每种方法的适用场景，请参阅 A/B 测试 vs 多变量测试。
常见问题
A/B 测试计划应该包含哪些内容？
一条附带理由的假设、一个定义精确的主要指标、护栏指标、受众和分流比例、基线转化率、最小可检测效应、样本量、时长，以及停止、终止和决策规则。再加上结果部分，让计划成为这次测试的记录。
实验计划和测试简报有什么区别？
这两个术语经常互换使用。有些团队用“简报”指发给设计师的设计和文案需求，用“计划”指统计方面的设置。本模板两者兼顾，创意改动在假设部分中描述。
B2B A/B 测试应该运行多久？
直到达到您计算出的样本量，并且至少运行一整周。许多 B2B 页面需要4到12周。如果计算结果超过一个季度，就修改测试方案，而不是提前停止。
每个小测试都要写计划吗？
需要，不过对于按钮文案测试，计划可以只有五行。停止规则和主要指标是绝不能省略的两部分，因为正是它们让您不会把随机波动当成胜利。