計算ツールの仕組み
サンプルサイズのタブでは、両側の2標本比率z検定で2つのコンバージョン率を比較する標準的な式を使用しています。
n per variant = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1は、テストする特定のページと目標におけるベースラインのコンバージョン率です。
- p2は、ベースラインに（1＋最小検出効果）を掛けた値です。
- p̄はp1とp2の平均です。
- zα/2は信頼度95%で1.96、zβは検出力80%で0.84です。
バリエーションが複数ある場合、計算ツールはアルファをコントロールとの比較回数で割り（ボンフェローニ補正）、全体の偽陽性率を選択した信頼水準に保ちます。A/Bテストのサンプルサイズのガイドでは、一般的なB2Bのコンバージョン率の表とともに、計算式を段階的に解説しています。
具体例
例示の数値：デモリクエストページのコンバージョン率が3%で、週2,000人の訪問者があるとします。新しい見出しでコンバージョンが少なくとも20%改善するかを知りたいので、p2は3.6%です。計算ツールはバリアントあたり約13,900人、合計27,800人を示し、これはトラフィックの14週間分です。多くのB2Bページにとってこれが正直な答えであり、四半期より長くかかるテストにツールが警告を出すのはそのためです。
期間を短縮する方法は3つあります。より大胆な変更をテストして最小検出効果を30%以上に引き上げる、デモページへのクリックなど頻度の高いイベントを測定する、またはトラフィックの多いページでテストを実施することです。A/Bテストと複数の要素を同時に試すテストのどちらにするかで迷っているなら、まずA/Bテストと多変量テストをお読みください。多変量テストにははるかに多くのトラフィックが必要です。
有意性の結果の読み方
有意性タブでは、完了した2つのパターンを比較します。たとえば、コントロールが訪問者5,000人でコンバージョン150件（3.0%）、バリアントが訪問者5,000人でコンバージョン190件（3.8%）だったとします。相対的な改善率は26.7%、p値は約0.027、差の95%信頼区間は約0.1〜1.5ポイントです。結果は有意ですが、区間は広く、実際の改善幅は小さい可能性もあります。特にテストを早期に打ち切った場合は、計測された改善率を高めに偏った推定値として扱いましょう。
トラフィックの少ない B2B サイトで最初に何をテストすべきかは、コンバージョン率最適化ガイドのテストのセクションをご覧ください。単一ページの変更ではなくパーソナライズした体験をテストする場合、Markettailor の A/B テストは訪問者セグメントごとにホールドアウトを設けて実行します。
よくある質問
A/Bテストに必要な訪問者数は？
ベースラインのコンバージョン率と、検出したい最小の改善幅によって変わります。ベースラインが3%の場合、信頼度95%、検出力80%で相対20%の改善を検出するには、バリアントごとに約13,900人の訪問者が必要です。検出したい改善幅を半分にすると、必要なサンプル数はおよそ4倍になります。
A/B テストの統計的有意性はどう計算されますか？
この計算ツールは、両側の2標本比率のz検定を使っています。両方のパターンをプールして、本当の差がない場合に想定されるノイズを推定し、観測されたコンバージョン率の差をその標準誤差で割って、得られたzスコアをp値に変換します。p値が0.05未満なら、信頼度95%で有意です。
A/B テストはどのくらいの期間実施すべきですか？
ローンチ前に計算したサンプルサイズに達するまで、かつ平日と週末の両方の行動が含まれるよう最低でも丸1週間は実施します。上記の期間の見積もりは、総サンプル数をテスト対象ページの週間トラフィックで割ったものです。
A/Bテストは有意になった時点ですぐに止めてもよいですか？
いいえ。結果を何度も確認し、最初に有意になった時点で打ち切ると、偽陽性率は5%を大きく上回ります。サンプルサイズを事前に決め、そこに達した時点で結果を読むか、逐次検定など継続的なモニタリング向けに設計された手法を使いましょう。
B2BサイトのトラフィックがA/Bテストに足りない場合はどうすればよいですか？
より大きな変更をテストする、より頻繁に発生するコンバージョンイベント(予約されたデモではなくデモページへのクリックなど)を選ぶ、最もトラフィックの多いテンプレートでテストする、またはテスト期間が長くなることを受け入れる、のいずれかです。テストに四半期以上かかりそうなら、代わりに定性調査やホールドアウトとの比較を使いましょう。