A/Bテストと多変量テストの違いは、それぞれが何を比較するかにあります。A/Bテストはページの2つのバージョンを比較します。A/B/nテストは3つ以上の完全なバージョンを比較します。多変量テスト（MVT）は、見出し、ヒーロー画像、CTAなど複数の要素を同時に変え、すべての組み合わせをテストして（多変量A/Bテストと呼ばれることもあります）、どの要素とどの組み合わせがコンバージョンを生むのかを明らかにします。
B2B Webサイトでは、たいていトラフィックが選択を決めてしまいます。バリエーションや組み合わせを1つ増やすごとに訪問者はさらに分割され、必要なサンプル数は直感以上の速さで増えていきます。以下では、B2Bチームが実際に行う4つのテストタイプ（A/B、A/B/n、多変量、セグメント別のパーソナライゼーションテスト）について、1つの計算例でそれぞれに必要なトラフィックを示し、判断の表と、各タイプに適したテストの例を紹介します。
4種類のテストの概要
| テストの種類 | 比較対象 | 答える問い | トラフィックコスト |
|---|---|---|---|
| A/B | コントロールとバリアント1つ | このバージョンは今のものより優れているか？ | 最も少ない |
| A/B/n | コントロールと2つ以上の完全なバリアント | これらの異なるアプローチのうち、どれが最適ですか? | 群が増えるごとに増加し、さらに多重比較のペナルティがかかる |
| 多変量テスト(MVT) | 複数の要素のあらゆる組み合わせ | どの要素が重要で、要素同士は影響し合うか？ | 最も多い（特に交互作用の検証では） |
| セグメントを絞った（パーソナライゼーション）テスト | 1つのセグメント内での、パーソナライズ体験とホールドアウトの比較 | このページをこのセグメントに合わせることは効果があるか？ | セグメントのトラフィックとホールドアウトの規模による |
A/Bテストと多変量テストを分けるトラフィックの計算
以下の数字はすべて、標準的な2群の比率のサンプルサイズの計算式（プールした分散）を用い、信頼度95%（両側）、検出力80%で、Node.js で計算したものです。手法と完全な表はA/B テストのサンプルサイズの記事にあります。A/B テストのサンプルサイズ計算ツールを使えば、自社のページで同じ計算ができます。A/B/n テストにはボンフェローニ補正を適用します。
例（説明用の数値）：デモページのコンバージョン率が3%で、相対20%の改善（3.0%から3.6%）を検出したいとします。単純なA/Bテストでは、バリアントあたり13,914人、合計27,828人の訪問者が必要です。
A/B/nテスト：群が増え、しきい値が厳しくなる
1つのコントロールに対して3つの挑戦者を置くと3回の比較を行うことになり、少なくとも1つの誤った勝者が出る確率が高まります。最も簡単な補正（ボンフェローニ補正）ではアルファを比較回数で割るため、各比較は0.05 / 3 = 0.0167で検定されます。これにより1群あたりのサンプルは13,914から18,559に増え、4群の合計は27,828から74,236となり、A/Bテストの約2.7倍のトラフィックが必要になります。
多変量テスト：組み合わせが掛け算で増える
次に、3つの要素をそれぞれ2バージョンでテストします（見出しAかB、画像AかB、CTA AかB）。完全要因計画では2 × 2 × 2 = 8セルになります。ほとんどのMVTレポートが暗黙的に行っているように、各組み合わせを対照群と比較したい場合、各セルに完全なサンプルが必要です。補正なしで8 × 13,914 = 111,312人、7つの比較に対してボンフェローニ補正を行うと8 × 22,112 = 176,896人の訪問者が必要です。
それは最悪のケースです。要因計画は、実は主効果については効率的です。見出しの効果を推定するには、見出しAの4つのセルと見出しBの4つのセルを比較するため、すべてのトラフィックを使えます。要素間に交互作用がなければ、27,828人の訪問者で3つの要素すべてについて一度にわかります。その場合、実質的には3つのA/Bテストを並行して実施したことになります。有用ではありますが、ほとんどのチームがMVTを選ぶ理由はそこではありません。
多変量テスト（MVT）は通常、交互作用（「この見出しはあの画像と組み合わせたときだけ効く」）と、最適な組み合わせを見つけるために行います。交互作用の検出にはコストがかかります。Andrew Gelmanのよく引用されるノートYou need 16 times the sample size to estimate an interaction than to estimate a main effectがその理由を示しています。交互作用の推定値の標準誤差は主効果の2倍であり、交互作用の大きさが主効果の半分だとすると（彼が置いた前提）、同じ検出力を得るには16倍のサンプルが必要になります。今回の例に当てはめると、約44万5,000人の訪問者です。
月数に換算すると
| 設計（ベースライン3%、MDE 20%） | 総訪問者数 | 月5,000人の場合の月数 | 月20,000人の場合の月数 |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| 4パターンのA/B/nテスト（ボンフェローニ） | 74,236 | 14.8 | 3.7 |
| 2×2×2の多変量テスト、各セルとコントロールの比較（補正なし） | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2、各セルとコントロールを比較（Bonferroni） | 176,896 | 35.4 | 8.8 |
| MVT の交互作用、効果量半分（16倍ルール） | 445,248 | 89.0 | 22.3 |
月間2万訪問のページで、各組み合わせを判定する2×2×2のMVTを行うと、補正込みで1年近くかかります。5,000訪問なら数年かかります。私たちの見解：B2BのWebサイトで多変量テストが現実的なことはまれです。月数千訪問で「MVTを実施して組み合わせ6が勝った」という主張があれば、行動に移す前にサンプルを厳しく確認すべきです。
多くのチームが陥る間違い
よくある間違いは、問いではなく野心でテストの種類を選ぶことです。アイデアが多いという理由でMVTを選び、アイデア同士が相互作用するかを知る必要があるからではありません。誰も1つに絞れなかったという理由で、5つのバリエーションでA/B/nテストを選びます。どちらも限られたトラフィックを、読み取れないほど細かく分割してしまいます。
2つ目は、本当の問いがオーディエンスに関するものなのに、要素をテストしてしまうことです。B2B サイトでは、何がコンバージョンにつながるかは、どの見出しを見せるかよりも誰が見ているかに左右されることがよくあります。製造業の買い手と SaaS の創業者が求める証拠は異なります。見出し A と B を全員に対してテストすると、それらのオーディエンスが平均化され、あるセグメントでは大勝し別のセグメントでは負けるパターンが隠れてしまうことがあります。これこそ、セグメントを絞ったパーソナライゼーションテストを行う理由です。
判断表：どのテストを実施すべきか
| 状況 | ページの月間訪問者数 | 変更した要素 | 推奨するテスト |
|---|---|---|---|
| 明確な仮説を1つ、大きな変更で | 制限なし（5,000未満も含む） | 1つのコンセプト（複数の要素に関わる場合あり） | A/B |
| 本当に異なる2〜3のアプローチ | 15,000+ | ページ全体のコンセプト | 最大3パターンのA/B/nテスト |
| 要素同士が相互に影響するかを知る必要がある場合 | 100,000+ | 2〜3の要素、各2バージョン | 多変量テスト（完全実施要因計画） |
| オーディエンスによって求めるものはおそらく異なります | セグメント内に十分なトラフィックがあること | セグメントに合わせたコンテンツ | セグメントを絞ったテスト vs ホールドアウト |
| 上記のどれにも十分なトラフィックがない | 2,000未満 | すべて | 定性調査を行い、その後より大きな変更で A/B テスト |
トラフィックのしきい値は、ベースラインが3%の場合の目安です。本格的に取り組む前に、サンプルサイズの計算式でご自身の数値を算出してください。
各タイプに適したテストの例
A/Bテスト
- デモページでのデモフォームと即時カレンダー予約の比較。
- ホームページで、機能を軸にしたヒーローと成果を軸にしたヒーローを比較。
- 「営業に相談」のプランがある料金ページと、すべてのプランの価格を公開した料金ページ。
A/Bテストで複数の要素を1つのコンセプトにまとめるのは問題ありません。わかるのはどの要素が効いたかではなく、そのコンセプトが勝ったかどうかですが、実際に下す必要がある判断はたいていそれです。これらのアイデアの優先順位付けについては、B2Bコンバージョン率最適化ガイドで解説しています。
A/B/nテスト
- トラフィックの多い有料ランディングページでの3つの価値提案：スピード、コスト削減、リスク低減。
- 3つの CTA オファー：デモ、ROI 診断、製品ツアー。段階によってオファーの種類がどう変わるかは、データに基づくパーソナライズした CTAのガイドをご覧ください。
トラフィックが特別に多い場合を除き、A/B/nテストは3群（コントロール＋2つ）にとどめ、効果を区別できるほど大きくなるよう、各群に意味のある違いを持たせましょう。
多変量テスト
- トラフィックが非常に多いホームページで、見出し（2パターン）× ソーシャルプルーフの種類（ロゴか導入事例の引用か）を検証する場合。ただし、両者が相互に影響し合うと考える具体的な理由がある場合に限ります。
想定する交互作用を挙げられないなら、おそらく多変量テストは必要ありません。
セグメントを絞ったパーソナライゼーションテスト
- 金融サービス企業からの訪問者向けの業界別ホームページヒーローと、デフォルトのヒーローの比較。
- 従業員1,000人超の企業向けに、料金ページでエンタープライズ向けの実績（セキュリティ、規模）を示すページと標準ページの比較。
- ABMアカウント向けのターゲットアカウントへの挨拶と導入事例を、汎用ページと比較。
ホールドアウトに対してパーソナライゼーションをテストする方法
パーソナライゼーションテストとは、セグメントの中だけで行う A/B テストです。コントロールは、そのセグメントのうちデフォルトのページを見るホールドアウト群です。ホールドアウトがなければ、パーソナライゼーションの効果と、そのセグメントがもともと異なるコンバージョン率を持っているという事実とを切り分けられません。
- セグメントを正確に定義します。たとえば「従業員200名以上の金融サービス企業と特定された訪問者」のように。テストに入るのはその訪問者だけです。
- テスト対象ページへのセグメントの月間トラフィックを測定します。期間を決めるのはサイト全体のトラフィックではなく、こちらです。
- ホールドアウトの規模を決めます。50/50で分割すると最も早く結果を読み取れます。ホールドアウトを小さくすると、デフォルト体験を見る訪問者は減りますが、時間がかかります。
- そのセグメントが実際に行うコンバージョンを選び、訪問単位またはアカウントの訪問全体で測定し、パイプラインはガードレール指標として維持しましょう。
- ローンチ前にサンプルサイズと期間を決め、そのセグメントについてのみ結果を読みます。
例（説明用の数値）：あるセグメントの訪問者が月3,000人、転換率が3%で、30%の相対的な向上を検出したいとします。不均等配分（非プール）版の式で、同じく信頼度95%、検出力80%として計算すると：
| ホールドアウトの割合 | 必要な訪問者数の合計 | 月3,000件ペースでの月数 |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
10%のホールドアウトでは、50/50の分割と比べて結果が読み取れるまでに約2.5倍の時間がかかります。当社の推奨は、各セグメントの最初のテストを50/50で実施して明確な答えを得たうえで、展開後は小規模な恒久的ホールドアウト（10〜20%）を残し、効果が持続しているかを追跡することです。セグメント間でこれらのテストをどの順番で実施するかは、パーソナライゼーションのテストロードマップで解説しています。最も早く結果が出る、トラフィックが最も多くメッセージのギャップが最も明確なセグメントから始めましょう。セグメントの訪問者が月に数百人しかいない場合は、セグメント別テスト自体を見送りましょう。その規模では、50/50で分割しても1年以内に判断できる結果は得られません。
こうしたホールドアウトテストを実施するには、ページ描画前にセグメントを識別し、そのセグメントだけを分割する必要があります。MarkettailorのA/Bテストは、企業レベルのセグメンテーションを使って各テストの対象者を決め、セグメントごとにこれを行います。そのため、フィンテック向けのテストにはフィンテック企業の訪問者だけが含まれます。
よくある質問
A/Bテストと多変量テストの違いは何ですか？
A/Bテストは、ページの2つの完全なバージョンを比較します。多変量テストは複数の要素を同時に変え、すべての組み合わせをテストするため、どの要素が重要か、要素同士が影響し合うかがわかりますが、はるかに多くのトラフィックが必要です。
A/B/nテストとは？
A/B/nテストは、コントロールと2つ以上の完全なバリアントを同時に比較します。本当に異なるアプローチがいくつかある場合に有効ですが、パターンが1つ増えるごとに専用のサンプルとより厳しい有意水準が必要になります。
多変量テストにはどれくらいのトラフィックが必要ですか？
コンバージョン率3%のページで2×2×2のテストを行い、8つの組み合わせそれぞれをコントロールと比較して20%の改善を読み取るには、多重比較の補正方法に応じて約111,000〜177,000人の訪問者が必要です。交互作用を検出するには、さらに数倍かかることがあります。
B2Bウェブサイトで多変量テストを行う価値はありますか？
まれです。ほとんどのB2Bページには、数か月以内に組み合わせや交互作用を判断できるだけのトラフィックがありません。大きなコンセプトのA/Bテストや、セグメントを絞ったパーソナライゼーションテストのほうが、通常はより早く明確な答えが出ます。
A/Bテストと多変量テストは組み合わせられますか？
はい。よくある順序は、まずコンセプトをA/Bテストし、確認したい具体的な相互作用がある場合に限り、トラフィックが非常に多いページで、勝ったコンセプト内の2つの要素について小規模な要因計画テストを行うことです。