WebサイトパーソナライゼーションのROI：測定して社内を説得する

パーソナライゼーションのROIとは、パーソナライズした体験が生み出す増分の粗利益からそのコストを差し引き、コストで割ったものです。難しいのは「増分」という言葉です。パーソナライズしたページのコンバージョン率は、ほぼ必ずサイト平均よりも良く見えますが、その差のほとんどは何の証明にもなりません。パーソナライズの対象にできる訪問者と、できない訪問者は、そもそも同じ訪問者ではないからです。

このページでは、必要なことを一か所にまとめています。WebサイトパーソナライゼーションのROI計算式と計算例、効果を正しく切り分けるホールドアウトグループの設計方法、どの段階でどの指標を報告すべきか、そのまま使えるスコアカード、そしてこれらをまとめてパイロット導入の承認を得られるパーソナライゼーションのビジネスケースに仕上げる方法です。

パーソナライゼーションのROIの計算式

計算式は連鎖の形で書き、財務部門の誰もが各段階を検証できるようにしましょう。

増分の粗利 ＝ セグメントのトラフィック × ベースラインのコンバージョン率 × 相対改善率 × リードから商談への転換率 × 受注率 × ACV × 粗利率

ROI =（増分粗利 − 総コスト）÷ 総コスト

この式では、計算そのものよりも次の3つの選択が重要です。

• サイト全体ではなくセグメントのトラフィック。影響を受けるのは、特定されてパーソナライズ対象のセグメントに入る訪問者だけです。トラフィックの25%が特定可能でセグメントに入っているなら、残りの75%はROIに何も寄与しません。サイト全体のトラフィックに効果を掛け合わせるのは、ビジネスケースが水増しされる最もよくあるパターンです。
• 前四半期や未特定の訪問者と比べるのではなく、ホールドアウトに対して測定した効果。詳しくは後述します。
• 売上ではなく粗利で。売上ベースのROIは数字を良く見せます。どうせ財務部門が利益率で計算し直すので、先にやっておきましょう。マーケティングROI計算ツールは両方のバージョンを並べて表示します。

具体例

例：架空のB2Bソフトウェア企業の例示の数値。パーソナライズ対象のセグメントは、2つのターゲット業種の識別された訪問者です。

同じ年のコスト（こちらも説明用）：ツールのサブスクリプション18,000ドル、チームの作業時間として週6時間×48週を諸経費込み時給80ドルで換算（23,040ドル）、一時的なコンテンツ制作費8,000ドル。合計：49,040ドル。

ROI ＝（193,536ドル − 49,040ドル）÷ 49,040ドル ＝ 2.95、つまり約295%。

次に、CFOを実際に納得させる計算をしましょう。損益分岐点となる改善率です。この例では、相対的な改善1%ごとに月0.8件のリクエストが増え、年間12,902ドルの粗利につながります。コスト49,040ドルを12,902ドルで割ると、損益分岐点となる改善率は約3.8%です。議論は「15%を信じるか？」から「3.8%を超えると思うか？」に変わり、はるかに答えやすい問いになります。

誰かに見せる前に行うべき、正直さのための2つの調整：

• タイミング。商談はコンバージョンから営業サイクル1回分の後に成約します。サイクルが4か月なら、1月に開始したプログラムが最初の暦年に計上できる増分の受注は12か月分ではなく約8か月分です。1年目はパイプラインを示し、受注はタイムラグを踏まえて示しましょう。
• 不確実性。測定された15%の改善には信頼区間が伴い、B2Bのトラフィックでは通常その幅が広くなります。点推定値だけでなく、信頼区間の下限でもROIを計算しましょう。下限でも損益分岐点を上回るなら、強力な根拠になります。ゼロを下回るなら、そのとおりに伝えましょう。

ホールドアウト群の設計

ホールドアウト群（コントロール群）とは、パーソナライズ対象のセグメントからランダムに選ばれ、デフォルトの体験を見続ける一部の人たちです。「これらのアカウントはどのみちコンバージョンしていたのでは？」という問いに明確に答える唯一の方法です。それがなければ、季節要因、新しいキャンペーン、価格変更、営業の採用強化がすべてパーソナライゼーションの手柄にされてしまいます。ホールドアウトがチャネルのアトリビューションモデルとどう共存するかはパーソナライズした Web サイトのアトリビューションの記事で解説しています。ここではその設計そのものを紹介します。

同じ条件同士で比較する

多くのチームが犯す間違いは、パーソナライズされた訪問者を、デフォルトのページを見た全員と比較することです。ターゲット業種から特定された訪問者は、匿名のトラフィックとは別の人たちです。検討が進んでおり、適合度が高く、パーソナライゼーションの有無にかかわらずコンバージョンしやすい傾向があります。この比較で測っているのは体験ではなくセグメントです。ホールドアウトは同じ特定ルールを使って同じセグメントの内側から抽出し、2つのグループの違いが見たものだけになるようにしなければなりません。

セッション単位ではなくアカウント単位でランダム化する

ある企業の1人がパーソナライズしたホームページを見て、同僚がデフォルトのページを見ると、両方のグループが汚染され、購買委員会としての効果が失われます。アカウント単位で割り当て（例：企業ドメインの安定したハッシュ）、テスト期間中は各アカウントを同じグループに固定しましょう。

ホールドアウトはどのくらいの規模にすべきか？

ホールドアウトを小さくすれば失うパイプラインは減りますが、テストは遅くなり、その代償はほとんどの人が想定するよりも大きくなります。2つのグループ間の差の分散は、1/(Aの割合) + 1/(Bの割合)に比例します。50/50の分割なら2 + 2 = 4です。10%のホールドアウトでは10 + 1.11 = 11.1となり、2.8倍になるため、同じ効果を検出するには約2.8倍のトラフィックが必要です。

私たちの見解：パイロットでは50/50か30/70にしましょう。答えを早く出したい問いは1つであり、結果を読み取れないテストが1週間延びるごとに失うものは、より大きな割合をパーソナライズして得られたかもしれないパイプラインより大きいのです。自社のベースラインと最小検出改善率をA/Bテスト計算ツールに入力してグループごとのサンプルサイズを求め、上記の倍率を適用してください。

実施期間はどのくらいにすべきか？

次の3つのうち最も長いものを満たすまで実施します。

1. 主要なコンバージョン指標のサンプルサイズに達した。
2. 平日と週末の両方のパターンが含まれるよう、少なくとも丸2週間が経過している。
3. パイプラインや売上に関する主張には、最後のアカウントがテストに入ってから営業サイクル1回分の期間が必要です。コンバージョンの改善は数週間で読み取れますが、パイプラインの改善はそうはいきません。

プログラムを開始したら、小さな常設のホールドアウトを維持します（トラフィックの多いサイトでは10%が一般的）。コンテンツが古くなり競合がサイトを変えるにつれて効果は変化するため、昨年の改善が今も続いているかを知る方法は常設のホールドアウトしかありません。

ホールドアウトが使えない場合

40社の指名アカウント向けにパーソナライズする場合、十数社のホールドアウトでは有意差に届きません。同じアカウントで前後比較を行い、同期間の類似した非ターゲットアカウント群と照らし合わせて確認し、結果は「方向性を示すもの」と明記してください。証拠として提示しない限り、それでも十分に役立ちます。

指標の階層

パーソナライゼーションの指標には3つのレイヤーがあります。下のレイヤーほど反応が遅くノイズも多くなりますが、ビジネスにとってはより重要です。3つすべてを報告し、先行指標を遅行指標の代わりにすることは決してしないでください。

先行指標は軌道修正のためのものです。バリアントがそもそも目に留まっているかを数日で教えてくれます。しかしROIではありません。パーソナライズした見出しでクリック率が上がっても、デモ依頼が横ばいなら、財務部門が評価する成果は何も改善していません。

量と合わせてリードの質も確認しましょう。フォーム送信の20%増加がすべてICP外のアカウントからのものなら、それは成果ではなくコストです。コンバージョン率だけでなく、両グループのリードから商談への転換率を追跡しましょう。

アトリビューションの注意点

ホールドアウトからは、そのセグメントについての因果的な推定値が得られます。それ以外に報告する内容はより不確かなもので、信頼できるレポートはどれがどちらかを明示します。

• 「影響を与えたパイプライン」は増分パイプラインではありません。作成前30日以内に誰かがパーソナライズしたページを見た商談のCRMレポートは、常に大きな数字になります。優良アカウントほど頻繁にサイトを訪れるからです。リーチを示すために使い、ROIの計算には決して使わないでください。
• ラストタッチはウェブサイトを過大評価する。営業と3回打ち合わせた後にパーソナライズされたホームページを見たバイヤーは、ホームページのおかげでコンバージョンしたわけではありません。
• カニバリゼーションは実際に起こる。パーソナライズしたCTAでコンバージョンしたアカウントが、それがなければ翌週SDRのメールに返信していたのであれば、ウェブサイトはコンバージョンを1件得ても、ビジネスには何も上乗せされていません。ホールドアウトはこれを自動的に考慮します。これも、影響レポートよりホールドアウトを信頼すべき理由の1つです。
• 初期の結果は高めに出る。テストの最初の数週間は、すでにファネルの深い段階にいるアカウントが中心となり、どちらのグループでも高い率でコンバージョンします。2週間の数字を1年に外挿してはいけません。
• 開始前に営業と定義を合意します。何をコンバージョンしたアカウントとするか、どの商談日付を使うか、遡及期間を書面で決めておきます。結果が出た後に合意した定義は、パイプラインレビューのたびに議論の的になります。

技術的に最低限必要な設定は次のとおりです。パーソナライズした体験が表示されるたびに、セグメント、ルール、バリアントを含むアナリティクスイベントを送信すること。グループの割り当て（パーソナライズまたはホールドアウト）をCRMのアカウントレコードに保存すること。そして、コンバージョン、商談創出、受注率、ACVをグループ別に比較するレポートを1つ作ることです。

パーソナライゼーションROIスコアカード

この表をスプレッドシートにコピーし、セグメントごとに記入してください。ベースラインは公開前に（またはホールドアウト群から）記録し、目標は結果を見る前に設定し、すべての数字の出典を明記して数値を監査できるようにします。

スコアカードは毎月記入し、四半期ごとにレビューします。四半期レビューでは、セグメントごとに4つの問いに答えます。どのルールがホールドアウトに勝ったか、本格的なテストで何も示さず廃止すべきルールはどれか、まだパーソナライズされていないトラフィックの多いセグメントはどれか、そして勝ちパターンの裏にあるコンテンツが古くなっていないか。これらの判断を記録するのに最適なのがパーソナライゼーションのプレイブックテンプレートで、体験ごとに1行、その指標とホールドアウトとともに記録します。

パーソナライゼーションのビジネスケースを構築する

パーソナライゼーションの提案は、たいてい予想どおりの理由で止まります。売上とのつながりがあいまい（「より良い体験」）、対象範囲がWebサイト全体、そして提案内容がその場の全員に同じ、という理由です。優れたパーソナライゼーションのビジネスケースは、プログラム全体ではなく、小規模で測定可能なパイロットを求めることで、この3つをすべて解決します。

1ページ構成

30枚のスライド資料は不要です。1ページ、5つのセクションで十分です。

1. 自社の数値で示す課題。「最も適合度の高い2業界からの訪問者のホームページでのコンバージョン率は1.4%で、最大セグメントの2.3%を下回っている」。自社のアナリティクスから得たギャップは、どんな業界ベンチマークよりも説得力があります。
2. モデル。計算例の ROI の連鎖に自社の数値を入れ、3つの改善シナリオと損益分岐点となる改善率を示したもの。
3. パイロット。範囲、ホールドアウト、期間、成功のしきい値（下記の提案を参照）。
4. コストとダウンサイド。金額と工数の両面での総コスト。最悪のケースを率直に示します。パイロットで改善が見られなかった場合、失うのはパイロットの費用であり、どのセグメントが反応しないかがわかります。
5. 求める意思決定。1年がかりのプログラムへの承認ではなく、パイロットへの承認と、拡大か中止かを決める日程の合意。

パイロットは小さな範囲で

トラフィックの多いページ1〜2つ（通常はホームページ、料金ページ、または流入の多いランディングページ）、セグメント2つ、セグメントごとに変える要素1〜2つ（通常は見出しと実績の組み合わせ）。範囲を限定すれば、承認されやすく、測定も早く、停止も簡単です。パイロットは自社独自のリフトの数値も生み出します。これは次の予算会議で、どのベンダーのベンチマークよりも価値があります。

経営陣が反対する点と、その答え方

会議の前にやっておくと役立つことが2つあります。1つ目は、ターゲットアカウントからより質の高いパイプラインを求めている営業リーダーを見つけ、共同スポンサーになってもらうことです。「マーケティングがツールを欲しがっている」より「営業とマーケティングがこれを試したい」のほうが説得力があります。2つ目は、主要な競合のサイトを異なる企業の立場から見て、何か変化があるかを記録することです。競合がパーソナライズしていれば緊急性の根拠になり、していなければ差別化のチャンスになります。いずれにしても短い付録にとどめましょう。競合の動きは背景情報であって、ROIの証拠ではありません。

自社向けに調整できる90日間のパイロット提案書

このパイロットの週単位の実行計画（どのセグメントから始めるか、自社のトラフィックで何をテストできるかを含む）は、90日間のパーソナライゼーションテスト・ロードマップで紹介しています。

公開後の経営層への報告

パイロットが始まったら、最初のスライドでは3つの数字だけを報告します。ホールドアウトに対する増分コンバージョン数（信頼区間付き）、これまでの増分パイプライン、そして損益分岐点となる効果と比較したこれまでのコストです。セグメント別の内訳やエンゲージメント指標を含め、それ以外はすべて付録に回します。

チームには毎月、経営陣には四半期ごとに報告します。B2Bの月次データはばらつきが大きく、1か月不調だったからといってプログラム全体の是非を議論すべきではありません。四半期ごとに実績値でROIを更新し、仮定の数値を1つずつ置き換えて、最終的にモデルに仮定の数値がまったく残らない状態にします。

Markettailorでパーソナライゼーションを展開する場合は、A/Bテスト機能でセグメントごとにホールドアウトを設定できるため、上記の比較を後から再構成するのではなく、最初から組み込めます。

よくある質問

パーソナライゼーションのROIはどのように計算しますか？

パーソナライズ対象セグメントの訪問者数に、ベースラインのコンバージョン率と、ホールドアウトグループと比較して測定した改善率を掛け、それをリードから商談への転換率、受注率、平均契約額、粗利率へと順に当てはめます。そこから総コスト(ツール、チームの工数、コンテンツ)を差し引き、そのコストで割ります。また、コストを回収できる最小の改善率である損益分岐改善率も算出しましょう。予測よりも議論しやすいからです。

パーソナライゼーションのホールドアウトグループはどのくらいの大きさにすべきですか？

パイロットでは、セグメントの30〜50%です。ホールドアウトが小さいと、はるかに多くのトラフィックが必要になるためです。同じ改善率を検出するのに、10%のホールドアウトでは50/50分割の約2.8倍のトラフィックが必要です。プログラムの効果が証明されて運用が軌道に乗ったら、トラフィックの多いサイトでは約10%の恒久的なホールドアウトを設けることで、効果がまだ続いているかを継続的に確認できます。

WebサイトパーソナライゼーションのROIが出るまでどのくらいかかりますか？

エンゲージメントの変化は1〜3週間で、コンバージョンの改善はトラフィックにもよりますがおおむね3〜8週間で現れます。パイプラインと売上には、アカウントがテストに入ってから少なくとも営業サイクル1回分の期間がかかります。営業サイクルが4か月なら、売上を読み取れるのはローンチから6か月前後です。初期の結果はROIとしてではなく、先行指標として提示しましょう。

パーソナライゼーションのビジネスケースには何を盛り込むべきですか？

1ページにまとめます：自社データにおけるターゲットセグメントのコンバージョンの差、3つの改善シナリオでのROIモデルと損益分岐となる改善率、範囲を限定したパイロット（ページ、セグメント、ホールドアウト、期間、成功基準）、総コストと最悪のケース、そして求める具体的な意思決定です。プログラム全体ではなく、判断日を定めたパイロットの承認を求めましょう。