簡単な答え:パーソナライゼーションのアトリビューションは、すべての訪問者とアカウントがどの体験(バリエーション)を見たかを記録し、パーソナライズ版を見た人と、ランダムに割り当てられデフォルトを見たホールドアウトとで、コンバージョンとパイプラインを比較することで機能します。チャネルアトリビューションは訪問者がどこから来たかを、体験アトリビューションはサイトで見たものが結果を変えたかどうかを示します。両方が必要であり、増分効果を測定できるのはホールドアウトとの比較だけです。
多くのアトリビューションの仕組みは、ある暗黙の前提の上に作られています。同じURLにアクセスした人は全員同じページを見る、という前提です。パーソナライゼーションはこの前提を崩します。2人の訪問者が同じGoogle広告をクリックし、同じホームページに着地します。1人はエンタープライズのセキュリティについての見出しを、もう1人はAPIの速度についての見出しを見ます。アナリティクスツールはどちらも「homepage, google / cpc」として記録します。一方がコンバージョンし、もう一方がしなかった場合、その記録からは、チャネル、ページのバージョン、それ以外のどれが違いを生んだのかわかりません。
この記事の残りでは、標準的なモデルがこれを見落とす理由、問いを2つに分ける方法、ホールドアウトの設定方法、体験データをCRMに引き継ぐ方法、そして過大に主張せずに報告する方法を解説します。
標準的なアトリビューションモデルがパーソナライゼーションを捉えられない理由
ファーストタッチ、ラストタッチ、線形、減衰、接点ベースのモデルは、いずれも流入元とサイト上の行動に貢献度を配分します。ページそのものは定数として扱われます。また、追跡可能な接点を生まない影響も見逃します。これについてはB2Bにおけるダークファネルの記事で取り上げています。各モデルが貢献度をどう割り当てるかを確認したい場合は、こちらのマルチタッチアトリビューションの実践ガイドをご覧ください。
例(説明用):あるアカウントがデモ依頼までに3回訪問したとします。1回目は自然検索からで、汎用のホームページを見ます。2回目はLinkedIn広告からで、この時点で企業が特定されているため、製造業向けの見出しが表示されます。3回目は直接流入で、サイトはそのアカウントが現在使っているツールからの乗り換え事例を表示します。線形モデルでは、自然検索、LinkedIn、直接流入にそれぞれ3分の1ずつ貢献度が割り当てられます。「製造業向けバリエーションを見た」「競合からの乗り換え事例を見た」という項目はないため、それらのページが決め手だったとしても、レポートには表れません。
これは測定上の欠落であり、パーソナライゼーションが効いた証拠ではありません。そのアカウントはどのみち予約していたかもしれません。要点は、標準のレポートではどちらとも答えられないということです。
2つの問いに分ける
| チャネル別アトリビューション | 体験のアトリビューション | |
|---|---|---|
| 質問 | どのチャネルが適切なアカウントを連れてくるか? | 到着した後、パーソナライズされた体験によって行動は変わるか? |
| 判断に使う場面 | 獲得予算 | どのパーソナライゼーションルールを維持し、変更し、停止するか |
| 方法 | 既存のMTAモデルまたはプラットフォームのレポート | デフォルトのページに対するランダム化したホールドアウト |
| 主なオーディエンス | 有料メディアとデマンドジェネレーション | Web、CRO、プロダクトマーケティング |
両方を並行して実施し、別々に報告します。チャネルのアトリビューションには独自の限界がありますが、そのままで構いません。体験のアトリビューションには対照群が必要です。「パーソナライズされたページを見た人のほうがコンバージョンした」という結果は、単に最も適合度の高いアカウント向けにパーソナライズした場合にも見られるからです。チャネル側については、B2Bのマーケティングチャネルのガイドで解説しています。
ホールドアウト群:増分効果を測定する部分
条件に合うアカウントの中から無作為に一部を選んでパーソナライズを適用せず、デフォルトのサイトを表示します。それ以外はすべて同じにします。広告も、メールも、営業のフォローアップも同じです。
重要な設定:
- セッションではなくアカウント単位で割り当てる。4人の購買グループがバリアント間で分かれてしまうと、両方のグループが汚染されます。企業ID(企業が不明な場合はファーストパーティCookie)をハッシュ化し、訪問をまたいで割り当てが維持されるようにしましょう。
- ホールドアウトの規模は経験則ではなくトラフィックから決める。ホールドアウトを大きくすると結果は早く読めますが、パーソナライズされたページを見られないアカウントが増えます。A/Bテストのサンプルサイズを計算して、重視するリフトを検出するのに1グループあたり何アカウント必要かを割り出し、それが全体のどれくらいの割合かを判断しましょう。
- 「対象」の定義を固定する。テスト途中でセグメントのルールが変わると、グループ間の比較ができなくなります。
次に、実際に数えられるファネルの各段階でグループを比較します。
- サイト上のフォームまたはデモのコンバージョン率。
- MQL から SQL への転換率。フォーム送信を増やす一方で質の低いリードを集めるパターンを見抜けます。
- アカウントあたりの商談創出率。
- 十分な数の商談がクローズしてからの受注率と取引規模。ほとんどのB2B企業では、このステージで何かが分かるまでに営業サイクル1周分が必要です。
結果は合計だけでなく、セグメントごとにも読みましょう。全体の改善が1つのセグメントだけから生まれ、別のセグメントでは変化なし、あるいはわずかに悪化していることもあります。セグメントごとのグループが小さすぎて読み取れない場合は、全体の数値があたかもすべてに当てはまるかのように報告せず、そう明言しましょう。
アカウント単位のきれいなホールドアウトを実施できない場合
地域による分割
一部の地域でパーソナライズし、条件の似た地域では実施しません。アカウント数が少なすぎる場合や、識別のカバー率にばらつきがある場合に有効です。リスクは、地域間の差がサイトとはまったく関係のない理由(営業のカバー体制、地域のイベント、通貨)で生じることです。条件の揃った地域を選び、長めに実施しましょう。
オン/オフ期間
パーソナライゼーションのオンとオフを、たとえば2週間ずつなど一定の期間で、何サイクルか交互に切り替えます。これにより、どのターゲットアカウントも恒久的にホールドアウトに置かずに済みます。キャンペーンの開始、休暇シーズン、四半期末は数値を動かすため、主要なキャンペーンの日付をすべて記録し、それと重なる期間は除外しましょう。
バリアント同士の比較
あるセグメントでパーソナライゼーションがデフォルトを上回るとわかったら、パーソナライゼーション戦略同士をテストしましょう。業種別の見出しと企業規模別の見出し、関連する事例とカスタムのヒーローなどです。これによりどのルールを拡大すべきかがわかります。これは通常、「パーソナライゼーションは効果があるか?」よりも有用な問いです。
体験データをCRMに引き継ぐ
B2Bチームが評価されるのはフォーム送信数ではありません。そのため、バリエーションのデータはパイプラインレポートまで届く必要があります。
- パーソナライゼーションの判定ごとにイベントを送信します。GA4(または使用しているアナリティクスツール)に、ルールID、セグメント、バリアント、ホールドアウトかパーソナライズかのフラグを含むカスタムイベントを送ります。パラメータをカスタムディメンションとして登録し、レポートに使えるようにしましょう。
- コンバージョン時にCRMの項目に書き込む。フォーム送信時に、セグメント、最後に表示されたバリアント、ホールドアウトフラグを、構造化されたコンタクト項目に対応する隠しフィールドに渡します。メモ欄ではいけません。絞り込みに使う必要があるからです。
- アカウント単位に集約します。ツールが対応していれば、パーソナライズされたセッション、表示されたバリアント、初回と最終の接触日といったアカウント単位の履歴を同期します。
- 商談にフラグを付ける。商談作成前の一定期間内に、その商談のいずれかのコンタクトがパーソナライズされたセッションを閲覧していた場合にtrueとなる商談フィールドを追加します。期間は自社のサイクルに合わせて決め、記録しておきましょう。30日または60日がよく使われます。値は手入力ではなくワークフローで設定します。
- 3つのレポートを作る。既存のチャネルレポートはそのまま。週次のパーソナライゼーションレポートでは、セグメント別のコンバージョンをパーソナライズ群とホールドアウト群で比較。四半期のパイプラインレポートでは、セグメント別・ステージ別の影響パイプラインを示します。
整理されたUTMが前提条件です。流入元とキャンペーンのデータに一貫性がなければ、チャネルの効果とページの効果を切り分けられません。共通のUTMビルダーのルールを決めれば、その大部分は解決します。
「影響した」は「もたらした」ではない
商談のフラグは「アトリビューション」ではなく「パーソナライゼーションの影響あり」と呼びましょう。影響とは、案件の関係者の誰かがパーソナライズしたページを見たということにすぎません。パーソナライゼーションは通常、最も適合度の高いアカウントを対象とし、そうしたアカウントはもともとコンバージョンしやすいため、影響ありのパイプラインはバリエーションが何かをしたかどうかに関係なく良く見えます。因果関係を示すのはホールドアウトです。
計算方法を示すために架空の数値で両者を組み合わせます。影響を受けた商談が1四半期で420万ドルのパイプラインを生み、ホールドアウトでは18%のコンバージョンの増分改善が見られたとします。増分の割合は0.18 / 1.18なので、そのパイプラインのうち約64万ドルはパーソナライゼーションがなければ存在しなかったことになります。残りの356万ドルは、おそらくいずれにせよ生まれていました。財務部門は2つ目の数字を尋ねてくるので、聞かれる前に示しましょう。同じ規律は有料メディアにも当てはまります。自社の粗利率を入れたROAS計算ツールで、アトリビューションされた売上がそもそも費用を賄えているかが分かります。
相手に応じた報告
| オーディエンス | 求めているもの | 省くべきもの |
|---|---|---|
| CMO/マーケティング責任者 | ホールドアウトから算出したセグメント別の改善率、拡大すべきルール、主要チャネルごとにパーソナライズしたページがコンバージョンをどう変えるか | ホールドアウトの文脈なしの、生の影響パイプライン |
| 営業部門の責任者 | 1サイクルが完了した時点で、パーソナライズしたアカウントがより多くの商談を生み、より速く進むかをセグメント別に確認 | セッション単位のエンゲージメント指標 |
| 財務 | ホールドアウトから算出した増分パイプライン、総コスト(ツールと人件費)、その結果のリターン、そして信頼区間 | 影響を与えた総数だけの数字 |
| 取締役会 | 1行で:増分パイプライン、コスト、四半期ごとの推移 | 方法論の詳細 |
どのオーディエンスにも役立つ習慣:ホールドアウトグループの数値をパーソナライズしたグループの数値の横に並べて報告し、比較を暗示ではなく目に見える形にしましょう。
どこまで、いつ進めるか
- トラッキング:どのアカウントがパーソナライズされたコンテンツを見たかがわかります。設定には数日かかります。デバッグには役立ちますが、効果を主張するのには使えません。
- ホールドアウト:サイト上での増分効果を測定できます。セグメントごとに十分なトラフィックが必要です。トラフィックの少ないセグメントはいつまでも明確な結果が出ないこともあり、それを認めても構いません。
- パイプラインとの接続:バリアントのデータがCRMに届き、影響を与えたパイプラインと増分パイプラインを追跡できます。少なくとも1回分の営業サイクルのデータが必要です。
- 新しいセグメントの予測:セグメントを立ち上げる前に、その効果を見積もること。ホールドアウトを完了したセグメントがいくつかあり、そこから学べるようになってから取り組む価値があります。
ホールドアウトができる前に、パイプラインのレイヤーを作ってはいけません。コントロール群がなければ相関しか示せず、最も適合度の高いアカウントをパーソナライズすれば、相関はまさにタダで生まれるものだからです。
どこから始めるか
パーソナライゼーションツールが、バリアントIDとホールドアウトフラグ付きのイベントを分析ツールに送っているか確認してください。送っていなければ、まずそこを直します。それなしでは何も機能しません。次に、最もトラフィックの多いセグメントにホールドアウトを設定し、計算したサンプルサイズに達するまで十分な期間実行します。割り当てロジックを自作したくない場合、MarkettailorのA/Bテストはアカウント単位のホールドアウトに対応し、バリアントのデータをアナリティクスに送信します。
よくある質問
パーソナライズのアトリビューションはどのような仕組みですか?
訪問者がパーソナライズされた体験を見るたびに、パーソナライゼーションツールは体験IDとバリアントIDを含むイベントを発火させます。このイベントはセッションとともに保存され、訪問者が識別されるとCRM内のアカウントにも紐づけられます。バリアントを見た訪問者と、デフォルトページを見たランダムなホールドアウトとの間でコンバージョンとパイプラインを比較すれば、パーソナライゼーションによる増分効果がわかります。
チャネルアトリビューションと体験アトリビューションの違いは?
チャネルのアトリビューションは、検索広告、LinkedIn、メールなど、訪問者を連れてきた流入元に貢献度を割り当てます。体験のアトリビューションは、訪問者が到着後に目にしたものの効果を測定します。パーソナライズされたページはすべてのチャネルのコンバージョンを変えうるため、チャネルのアトリビューションだけを報告すると、Webサイト体験の貢献が見えなくなります。
パーソナライゼーションのホールドアウトグループはどのくらいの規模にすべきですか?
重視する改善を妥当な期間内に検出できる大きさで、それ以上は不要です。自社のトラフィックとベースラインのコンバージョン率でA/Bテストのサンプルサイズを計算し、同じ企業が訪問をまたいで一貫した体験を見られるよう、ホールドアウトはアカウント単位で割り当てます。
マルチタッチアトリビューションモデルでパーソナライゼーションを測定できますか?
間接的にのみ可能です。マルチタッチモデルはタッチポイント間で貢献度を配分しますが、各タッチポイントが誰にとっても同じであることを前提としています。体験IDをタッチポイントの属性として加えれば影響を受けたパイプラインをレポートできますが、増分効果はやはりホールドアウトとの比較から求める必要があります。また、B2Bのリサーチの多くは、タッチポイントがまったく記録されないダークファネルで行われています。