A/B テストとは、ランダム化比較実験の一種で、訪問者をページ、メール、機能の2つのバージョン、つまりコントロール（A）とパターン（B）にランダムに振り分け、事前に定めた指標を比較して、その差が偶然では説明できないほど大きいかを確認するものです。変更が改善を「引き起こした」のか、単に「同時に起きた」だけなのかを知るための標準的な方法です。
この手法はオンライン製品の世界では確立されており、Kohaviらによる実践的なガイドは今も標準的な文献です（Kohavi et al., "Controlled experiments on the web", Data Mining and Knowledge Discovery, 2009）。
A/Bテストの仕組み
- 仮説と指標。変更内容、期待する効果、そしてデモ申し込み率などの主要指標を1つ明記します。
- ランダム化。各訪問者はAまたはBにランダムに割り当てられ、再訪時も同じグループに固定されるため、グループ間の違いはその変更だけになります。
- サンプルサイズ。ベースラインの率、検出する価値のある最小の改善幅（最小検出効果）、有意水準、検出力に基づいて、各バージョンに必要な訪問者数を事前に決めます。
- 実施する。テストがそのサンプル数に達するまで、理想的には週単位で丸ごと実施します。一方が優勢に見えても途中で止めないでください。
- 分析する。コンバージョン率を比較します。実際には差がないと仮定した場合に、これだけの差が生じる確率が5%未満であれば、その結果は有意水準5%で統計的に有意です。
重要な設定が2つあります。有意水準（通常5%、しばしば信頼度95%と呼ばれる）は偽陽性を制御します。検出力（通常80%）は、効果が実在する場合にそれを検出できる確率です。検出力の不足したテストは、ほとんどの場合「結果なし」に終わります。
例
例:デモページのコンバージョン率が3%だとします。有意水準5%、検出力80%の両側検定で、相対20%の改善(3.0%から3.6%)を検出したいとします。標準的な2群の比率の公式は次のとおりです:
バリエーションごとのn = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0.030、p₂ = 0.036、p̄ = 0.033、zα/2 = 1.96、zβ = 0.84
- 第1項：1.96 × √(2 × 0.033 × 0.967) ＝ 1.96 × 0.2526 ＝ 0.495
- 第2項：0.84 x √(0.0291 + 0.0347) = 0.84 x 0.2526 = 0.213
- 分子:(0.495 + 0.213)² = 0.501、分母:0.006² = 0.000036
- バリアントあたり約13,900人の訪問者、合計約27,800人
そのページの訪問者が週2,000人の場合、テストには約14週間かかります。これこそが有用なアウトプットです。何かを作る前に、このページでは20%の改善を検出するテストを妥当な期間で実施できないとわかるので、より大胆な変更をテストするか、トラフィックの多いページを使うか、リリースしてモニタリングするかを選べます。この数字は当社のA/Bテスト計算ツールやEvan Millerのサンプルサイズ計算ツールで再現できます。
A/Bテスト、A/B/nテスト、多変量テストの違い
| A/B | A/B/n | 多変量テスト(MVT) | |
|---|---|---|---|
| 変わる要素 | 1つのコントロール対1つのバリエーション | 1つのコントロールと複数のバリアント | 複数の要素を同時に、すべての組み合わせで |
| 必要なトラフィック | 最も少ない | パターンが増えるごとに増加 | 最も多い：トラフィックがすべての組み合わせに分割される |
| 答える問い | B は A より優れているか？ | 複数のバージョンのうち、どれが最適か？ | どの要素の組み合わせが効果的で、要素同士は相互作用するか? |
| 適しているケース | ほとんどのB2Bページ | 実際にトラフィックがある見出しやオファー | トラフィックの多いページのみ |
Nielsen Norman Groupはこのトレードオフを次のようにまとめています。多変量テストはトラフィックの多いページでの段階的な改善に適し、A/Bテストは根本的に異なるデザインの比較に使える（NN/g, "Multivariate vs. A/B Testing"）。
B2BチームによるA/Bテストの活用法
- デモ・問い合わせフォームの長さと文言のテスト。
- トラフィックの多いランディングページで価値提案と見出しを比較する。
- パーソナライゼーションの検証：セグメント別コンテンツと汎用ページを、ホールドアウト付きで比較。
- 料金ページのレイアウトとプランの見せ方。
- 件数が許す範囲で、メールの件名とナーチャリングのコンテンツ。
よくある質問
A/B テストはどのくらいの期間実施すべきですか？
ローンチ前に計算したサンプルサイズに達するまで、かつ最低でも丸1週間、できれば2週間、すべての曜日が含まれるまで実施します。バリアントあたりの必要訪問者数を、バリアントあたりの週間トラフィックで割れば期間を見積もれます。答えが数か月になるなら、その設計のテストは現実的ではありません。
最小検出効果はどのくらいが適切ですか？
変更のコストを考慮したうえで、行動に移す価値のある最小の改善幅です。トラフィックの少ないB2Bページでは、妥当な期間でテストを終えるために、通常はより大きな最小検出効果（多くの場合、相対値で20%以上）が必要です。小さな効果も実在し得ますが、サンプルサイズは効果の大きさの2乗にほぼ反比例して増えるため、はるかに多くのトラフィックが必要になります。
トラフィックが少なくてもA/Bテストはできますか？
可能です。ただし、より大きな変更をテストし、ファネルの中で最もトラフィックの多いステップを使い、成約数ではなくデモページへのクリック数のように頻繁に発生する指標を選んでください。それでも時間がかかりすぎる場合は、リサーチに基づいて変更を行い、前後比較でモニタリングします。その場合、エビデンスは弱くなることを受け入れる必要があります。
関連記事
テストの計画にはA/Bテスト計画テンプレートを使い、A/Bテストのサンプルサイズの詳しい解説を読み、A/Bテストと多変量テストの比較でテストの設計を選びましょう。より大きなプロセスについてはコンバージョン率最適化をご覧ください。