実験計画テンプレートを使うと、多くのA/Bテストが省略してしまう判断を強制的に行うことになります。具体的に何が起きると予想するか、勝者を決める単一の指標は何か、何人の訪問者が必要か、いつ打ち切ってよいか、です。開始前にこれらを書き出しておくことが、ノイズを結果と見誤らないための最も安上がりな防止策です。以下のテンプレートは1テストにつき1ページです。ドキュメントツールにコピーするか、スプレッドシートでテストのバックログを管理するならテンプレートをCSVでダウンロードしてください。
1つのテストに数週間かかることもあるB2Bのトラフィック規模を前提に設計されています。テストを計画したことがない場合は、まずコンバージョン率最適化ガイドで、少ないトラフィックで何をテストする価値があるかを確認してください。
A/Bテスト計画テンプレート
テストを開始する前に、すべての行を埋めてください。空欄の行は、データを見た後で下すことになる判断であり、まさに計画が防ごうとしているものです。
| セクション | 項目 | 記入する内容 |
|---|---|---|
| 1. 背景 | テスト名と ID | 短く検索しやすい名前（例：「DEMO-07 5項目フォーム」） |
| 担当者 | テストの公開、モニタリング、報告を行う1人の担当者 | |
| その裏付けとなる根拠 | このテストを選ぶ根拠となったデータ、録画、または顧客の発言 | |
| 2. 仮説 | 変更 | コントロールとバリエーションの具体的な違い |
| 期待される効果 | どの指標が、どの方向に動くか | |
| 理由 | そうなると考える理由を、買い手の行動についての1文で | |
| 3. 指標 | 主要指標 | 結果を決める唯一の指標と、その正確なイベント定義 |
| ガードレール指標 | 悪化させてはならない指標（リードの質、直帰率、ページ速度） | |
| セカンダリ指標 | 興味深いが決定的ではない（スクロール深度、料金ページへのクリック） | |
| 4. オーディエンス | ページ | テスト対象の URL |
| 対象者 | 全訪問者、または有料流入や企業規模帯などのセグメント | |
| 対象外となる人 | 既存顧客、社内トラフィック、ボット | |
| トラフィック配分 | 2パターンなら通常50/50 | |
| 5. 統計 | ベースラインのコンバージョン率 | このページとこの指標の直近4〜8週間 |
| 最小検出効果（MDE） | 対応する価値のある最小の相対リフト | |
| 信頼度と検出力 | 通常は95%と80% | |
| バリエーションあたりのサンプルサイズ | A/Bテスト計算ツールより | |
| 予定期間 | サンプルサイズを週間トラフィックで割り、週単位に切り上げたもの | |
| 6. ルール | 停止ルール | 結果を読むタイミング（サンプル数に到達したとき。それより前には決して読まない） |
| 中止ルール | 早期に中止する条件（パターンの不具合、ガードレール指標の低下） | |
| 判断ルール | 結果が勝ち、負け、判定不能だった場合にそれぞれ何をリリースするか | |
| 7. 結果 | 実施期間 | 開始日と終了日 |
| 群ごとの結果 | 訪問者数、コンバージョン数、コンバージョン率 | |
| 有意性と区間 | 差のp値と信頼区間 | |
| 意思決定と学び | リリースした内容と、そこから分かった購買担当者についての知見 |
記入方法
- アイデアではなくエビデンスから始める。セクション1では、なぜこのテストを行うのかを問います。良い根拠となるのは、異常な離脱が見られるファネルのステップ、セッション録画、営業の商談メモ、CRO監査チェックリストでの発見事項などです。「CEOが新しいヒーローを望んでいる」はエビデンスではありません。
- 反証可能な仮説を立てます。「デモフォームを9項目から5項目に減らせば、訪問者あたりのデモ申し込みが増える。バイヤーは製品を見る前に予算を尋ねられると離脱するからだ。」理由のない仮説は、失敗したときに何も教えてくれません。
- 主要指標を1つ選ぶ。3つ選ぶと、そのうち1つはおそらく偶然に動き、それを勝ちと呼びたくなってしまいます。
- 作る前にテストの規模を計算する。ベースラインと最小検出効果を計算ツールに入力します。テストに1四半期以上かかるなら計画を変えましょう。より大きな変更をテストする、より頻度の高い指標を使う、よりトラフィックの多いページを選ぶ、のいずれかです。トレードオフについてはA/B テストのサンプルサイズのガイドで解説しています。
- 判断基準を事前に合意する。自社にとって「判定不能」が何を意味するかを決めておきましょう。多くのB2Bチームは、結果が横ばいならよりシンプルなバリアントをリリースします。開始前に文書化してあれば、それで問題のない基準です。
記入済みプランの例
架空のB2Bソフトウェア企業の説明用の数値です。
| 項目 | 開始 |
|---|---|
| テスト名 | DEMO-07 5項目のデモフォーム |
| 根拠 | フォーム分析で「予算」の項目での離脱が最も多く、営業も初回の通話ではその情報を使っていないと確認 |
| 仮説 | 買い手は製品を見る前に予算を共有しないので、フォームを9項目から5項目に減らせば訪問者あたりのデモ送信数が増える |
| 主要指標 | デモフォームの送信数 ÷ /demoのユニーク訪問者数 |
| ガードレール | 営業が有望と認めた送信の割合が4分の1以上低下しないこと |
| オーディエンス | /demo へのすべての訪問者（ログイン中の顧客と社内IPを除く）、50/50で分割 |
| ベースライン | /demo の訪問者の8%が送信 |
| 最小検出効果（MDE） | 相対20%（8.0%から9.6%） |
| サンプルサイズ | 信頼度95%、検出力80%で、バリアントあたり約4,900人の訪問者 |
| 期間 | /demoの訪問者は週に約1,500人なので、合計約9,800人に達するには7週間かかる |
| 停止ルール | 丸7週間経過後、または両群がそれぞれ4,900人の訪問者を超えた時点の、いずれか遅いほうで結果を読む |
| 中止ルール | 最初の2週間でバリアントのフォームが送信できない場合、または有効リード率が半減した場合は停止 |
| 判断ルール | 勝ち：5項目を採用。負け：9項目を維持。決着つかず：よりシンプルでエンリッチメントで不足を補えるため、5項目を採用 |
テストのバックログ
CSVのダウンロードにはバックログシートも含まれているため、完全な計画書を書く前にテストの優先順位を付けられます。1つのアイデアにつき1行です。
| ID | ページ | アイデア | 根拠 | インパクト(1〜3) | 確信度（1〜3） | 容易さ（1〜3） | スコア | 必要な週数 | ステータス |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | 5項目のフォーム | 項目ごとの離脱 | 3 | 2 | 3 | 8 | 7 | 計画値 |
| HOME-03 | / | 業界別のヒーロー | ICP の訪問者のほうが直帰が多い | 3 | 2 | 2 | 7 | 10 | アイデア |
スコアは高いものの12週間以上かかるアイデアは、従来のA/Bテストよりも、ホールドアウト比較やパーソナライゼーションのルールに向いています。それぞれの手法が適する場面はA/Bテストと多変量テストの比較をご覧ください。
よくある質問
A/B テストの計画には何を含めるべきですか？
理由を添えた仮説、正確に定義した主要指標1つ、ガードレール指標、対象オーディエンスと配分、ベースラインの率、最小検出効果、サンプルサイズ、期間、そして停止・中止・判断のルールです。結果のセクションを加えれば、計画がそのままテストの記録になります。
実験計画とテストブリーフの違いは?
これらの用語は同じ意味で使われます。デザイナーに送るデザインとコピーの依頼を「ブリーフ」、統計的な設定を「計画」と呼ぶチームもあります。このテンプレートはその両方をカバーしており、クリエイティブの変更は仮説のセクションに記述します。
B2BのA/Bテストはどのくらいの期間実施すべきですか?
算出したサンプルサイズに達するまで、かつ最低でも丸1週間は実施します。B2Bのページの多くは4〜12週間が必要です。計算上1四半期より長くかかる場合は、早期に打ち切るのではなく、テストの内容を変えましょう。
小さなテストすべてに計画書を書くべきですか？
はい。ただし、ボタン文言のテストなら計画は5行で足ります。停止ルールと主要指標の2つは絶対に省略しないでください。偶然の変動を勝ちと判断してしまうのを防ぐのは、この2つだからです。