B2B 的 A/B 测试与多变量测试（以及 A/B/n 测试）

A/B 测试与多变量测试的区别在于各自比较的对象。A/B 测试比较页面的两个版本。A/B/n 测试比较三个或更多完整版本。多变量测试（MVT）同时改变多个元素，如标题、首屏主图和 CTA，并测试所有组合（有时称为多变量 A/B 测试），以了解哪些元素和哪种组合推动了转化。

在 B2B 网站上，流量通常会替您做出选择。每增加一个变体或组合，访客就被进一步分流，所需样本量的增长速度也比直觉快得多。下面介绍 B2B 团队实际会运行的四种测试类型（A/B、A/B/n、多变量以及面向细分人群的个性化测试）、在一个计算示例中各自的流量成本、一张决策表，以及适合每种类型的测试示例。

四种测试类型一览

A/B 测试 vs 多变量测试背后的流量算术

以下所有数字均采用标准的双比例样本量公式（合并方差），95%置信度、双侧、80%统计功效，使用 Node.js 计算。方法和完整表格见我们关于A/B 测试样本量的文章。您可以用我们的A/B 测试样本量计算器为自己的页面计算同样的数字，该计算器对 A/B/n 测试应用了 Bonferroni 校正。

示例（示意数字）：演示页的转化率为3%，您希望检测出20%的相对提升（从3.0%到3.6%）。一个简单的 A/B 测试每个版本需要13,914个访客，总计27,828个。

A/B/n：分组更多，阈值更严格

三个挑战者对一个对照组，就要做三次比较，出现至少一个假赢家的概率会上升。最简单的校正方法（Bonferroni）是用 alpha 除以比较次数，因此每次比较的检验水平为0.05 / 3 = 0.0167。这会使每组样本量从13,914增加到18,559，四组总计从27,828增加到74,236，约为 A/B 测试流量的2.7倍。

多变量测试：组合数成倍增长

现在测试三个元素，每个元素两个版本（标题 A 或 B、图片 A 或 B、CTA A 或 B）。完全析因设计有 2 × 2 × 2 = 8 个单元格。如果您想把每种组合都与对照组比较（大多数多变量测试报告实际上都在这么做），每个单元格都需要完整样本：不做任何校正时为 8 × 13,914 = 111,312名访客，对七次比较做 Bonferroni 校正时为 8 × 22,112 = 176,896名访客。

这是最坏的情况。实际上，析因设计在估计主效应时是高效的。要估计标题的效应，您只需比较使用标题 A 的四个单元格和使用标题 B 的四个单元格，这样就用上了全部流量。如果各元素之间没有交互，27,828名访客就能同时告诉您三个元素的效果。这种情况下，您实际上是并行运行了三个 A/B 测试。这很有用，但并不是大多数团队选择多变量测试的原因。

团队做多变量测试通常是为了发现交互效应（“这个标题只有配那张图才有效”）以及最佳组合。交互效应的代价很高。Andrew Gelman 那篇被广泛引用的短文 You need 16 times the sample size to estimate an interaction than to estimate a main effect 解释了原因：交互效应估计的标准误是主效应的两倍，如果交互效应只有主效应的一半大小（他设定的假设），要达到相同的统计功效就需要16倍的样本。套用到我们的例子，大约需要44.5万名访客。

换算成月数是多少

在一个月访问量 20,000 的页面上，一个要读出每种组合结果的 2×2×2 多变量测试，经过校正后需要将近一年。在 5,000 的页面上则需要好几年。我们的观点：多变量测试在 B2B 网站上很少可行；如果有人在每月几千名访客的情况下声称“我们做了多变量测试，组合 6 胜出”，在采取行动之前，应该认真审视一下样本。

大多数团队犯的错误

常见的错误是根据雄心而不是根据问题来选择测试类型。团队选择多变量测试，是因为想法很多，而不是因为需要知道这些想法之间是否相互影响。他们选择带五个变体的 A/B/n 测试，是因为大家无法就其中一个达成一致。这两种选择都会把有限的流量切得太薄，无法得出结论。

第二个误区是：真正的问题关乎受众，却去测试元素。在 B2B 网站上，什么能带来转化，往往更取决于谁在看，而不是展示哪个标题。制造业买家和 SaaS 创始人想要的信任证明各不相同。对所有人测试标题 A 与 B，会把这些受众平均到一起，可能掩盖一个在某个细分中大获全胜、在另一个细分中却表现不佳的变体。这正是针对细分进行个性化测试的理由。

决策表：该运行哪种测试

这些流量阈值是基于 3% 基准转化率的粗略参考。正式开始前，请用样本量公式计算您自己的数值。

各类型优秀测试示例

A/B 测试

• 演示页上的演示表单与即时日历预约对比。
• 首页上以功能为主的首屏与以成果为主的首屏对比。
• 价格页面中设置“联系销售”套餐 vs 每个套餐都公开价格。

在 A/B 测试中把多个元素打包成一个方案是可以的。您能知道的是这个方案是否胜出，而不是哪个元素起了作用，而这通常正是您真正需要做的决定。我们的 B2B 转化率优化指南介绍了如何为这些想法排定优先级。

A/B/n 测试

• 在一个高流量付费落地页上测试三个价值主张：速度、节省成本、降低风险。
• 三种 CTA 优惠：演示、ROI 评估、产品导览。关于优惠类型如何随阶段变化，请参阅我们的数据驱动的个性化 CTA指南。

除非流量特别大，否则 A/B/n 测试保持三个分组（对照组加两个变体），并让每个分组之间有实质性差异，使效应足够大、可以区分。

多变量测试

• 在流量极高的首页上测试标题（2个版本）× 社会认同类型（客户 logo 与客户案例引言），前提是您有明确理由预期两者会相互影响。

如果说不出您预期的交互作用是什么，您可能就不需要 MVT。

针对细分人群的个性化测试

• 面向金融服务公司访客的行业专属首页主视觉 vs 默认主视觉。
• 对1,000名员工以上的公司，在价格页展示面向大型企业的证明（安全、规模），与标准页面对比。
• 为 ABM 客户展示目标客户欢迎语和客户案例，与通用页面对比。

如何以保留对照组测试个性化

个性化测试是只在某个细分内部运行的 A/B 测试。对照组是该细分中看到默认页面的那部分访客。没有对照组，您就无法把个性化的效果与该细分本身转化率就不同这一事实区分开来。

1. 精确定义细分，例如“被识别为员工200人以上金融服务企业的访客”。只有这些访客进入测试。
2. 测算每月进入测试页面的细分流量。决定测试时长的是它，而不是全站总流量。
3. 确定对照组规模。50/50 分流读出结果最快。对照组越小，被留在默认体验中的访客越少，但需要花更多时间。
4. 选择该细分实际会完成的转化，按单次访问或该客户的多次访问来衡量，并把商机作为护栏指标。
5. 在上线前确定样本量和时长，并且只针对该细分读取结果。

示例（数字仅作说明）：某个细分每月带来3,000名访客，转化率为3%，您希望检测出30%的相对提升。使用非均等分配（非合并）版本的公式计算，同样采用95%置信度和80%统计功效：

10%的保留组得出结论所需的时间，约为50/50分流的2.5倍。我们的建议：每个细分群体的第一次测试采用50/50分流，以获得清晰的答案；上线后再保留一个小规模的永久保留组（10%至20%），跟踪效果是否长期保持。个性化测试路线图介绍了如何在各细分群体之间安排这些测试的顺序。从流量最大、信息差距最明显的细分群体开始，因为它出结论最快。如果某个细分群体每月只有几百个访客，就完全跳过细分测试；在这样的流量下，即使50/50分流，一年内也得不出可靠的结论。

运行这类对照测试，需要在页面渲染前识别出细分，并且只对该细分进行分流。Markettailor 的 A/B 测试按细分进行，利用公司级细分决定谁进入每个测试，因此金融科技测试只会接触到金融科技访客。

常见问题

A/B 测试和多变量测试有什么区别？

A/B 测试比较页面的两个完整版本。多变量测试同时改变多个元素并测试所有组合，因此能揭示哪些元素重要以及它们是否相互影响，代价是需要多得多的流量。

什么是 A/B/n 测试？

A/B/n 测试同时将对照组与两个或更多完整版本进行比较。当您有几种真正不同的思路时它很有用，但每多一个分组就需要单独的样本，以及更严格的显著性阈值。

多变量测试需要多少流量？

对于一个转化率为3%的页面进行2×2×2测试，要让8个组合中的每一个与对照组比较、检测20%的提升，大约需要111,000到177,000名访问者，具体取决于多重比较的校正方法。检测交互效应可能还需要数倍于此的流量。

多变量测试对 B2B 网站值得吗？

很少。大多数 B2B 页面的流量不足以在几个月内解读组合效应或交互作用。对较大概念进行 A/B 测试，以及针对细分人群的个性化测试，通常能更快得出更清晰的结论。

A/B 测试和多变量测试可以结合使用吗？

可以。常见的顺序是先对方案进行 A/B 测试，然后仅在流量非常高的页面上，如果有具体的交互效应需要验证，再在胜出方案内对两个元素做小规模的析因测试。