A/B 測試和多變量測試的差異在於各自比較的對象。A/B 測試比較頁面的兩個版本。A/B/n 測試比較三個以上的完整版本。多變量測試（MVT）一次改變多個元素，例如標題、主視覺圖片和 CTA，並測試所有組合（有時稱為多變量 A/B 測試），以了解哪些元素和哪個組合能推動轉換。
在 B2B 網站上，流量通常會替您做出選擇。每多一個版本或組合，訪客就被分得更細，所需樣本數的增加速度也比直覺預期的更快。以下是 B2B 團隊實際執行的四種測試類型（A/B、A/B/n、多變量，以及鎖定區隔的個人化測試）、以一個實際範例說明各自需要的流量成本、一張決策表，以及適合各類型的測試範例。
四種測試類型一覽
| 測試類型 | 比較的內容 | 回答的問題 | 流量成本 |
|---|---|---|---|
| A/B | 對照組 vs 單一版本 | 這個版本比我們現有的更好嗎？ | 最低 |
| A/B/n | 對照組 vs 2 個以上的完整版本 | 以下哪種做法最好？ | 隨組數增加，並加上多重比較的懲罰 |
| 多變量測試（MVT） | 多個元素的所有組合 | 哪些元素重要？它們之間有交互作用嗎？ | 最高，尤其是交互作用 |
| 針對區隔的（個人化）測試 | 在同一分眾內比較個人化體驗與對照組 | 為這個區隔量身打造這個頁面有效嗎？ | 取決於區隔流量與對照組規模 |
A/B 測試與多變量測試背後的流量算術
以下所有數字皆使用標準的雙比例樣本數公式（合併變異數），信賴水準 95%、雙尾、檢定力 80%，以 Node.js 計算。方法與完整表格請參閱我們的A/B 測試樣本數一文。您可以使用我們的A/B 測試樣本數計算機為自己的頁面計算相同的數字，該工具會對 A/B/n 測試套用 Bonferroni 校正。
範例（示意數字）：展示頁面轉換率為3%，您想偵測20%的相對提升（3.0%到3.6%）。簡單的 A/B 測試每個版本需要13,914位訪客，總計27,828位。
A/B/n：更多組別、更嚴格的門檻
三個挑戰版本對一個對照組，就要進行三次比較，至少出現一個假贏家的機率也隨之上升。最簡單的校正方法（Bonferroni）是將 alpha 除以比較次數，因此每次比較以 0.05 / 3 = 0.0167 進行檢定。這會讓每組的樣本數從 13,914 增加到 18,559，四組合計則從 27,828 增加到 74,236，大約是 A/B 測試流量的 2.7 倍。
多變量測試：組合數會倍增
現在測試三個元素，每個元素各有兩個版本（標題 A 或 B、圖片 A 或 B、CTA A 或 B）。全因子設計有 2 × 2 × 2 = 8 個組合。如果您想將每個組合與對照組比較（大多數多變量測試報告都隱含這麼做），每個組合都需要完整樣本：不做任何校正時為 8 × 13,914 = 111,312位訪客，針對七次比較做 Bonferroni 校正時為 8 × 22,112 = 176,896位訪客。
那是最壞的情況。全因子設計其實對主效應很有效率。要估計標題的效應，您把四個使用標題 A 的組合與四個使用標題 B 的組合做比較，這會用到全部的流量。如果元素之間沒有交互作用，27,828位訪客就能同時告訴您三個元素的效果。這種情況下，您實際上等於同時執行了三個 A/B 測試。很有用，但這不是大多數團隊選擇多變量測試的原因。
團隊執行多變量測試，通常是為了找出交互作用（「這個標題只有搭配那張圖片才有效」）以及最佳組合。交互作用的成本很高。Andrew Gelman 廣為引用的文章You need 16 times the sample size to estimate an interaction than to estimate a main effect說明了原因：交互作用估計的標準誤是主效應的兩倍，如果交互作用的大小是主效應的一半（他所設定的假設），就需要16倍的樣本才能達到相同的檢定力。套用到我們的例子，大約需要44.5萬位訪客。
換算成月數
| 設計（3%基準，20% MDE） | 總訪客數 | 每月 5,000 人時所需月數 | 以每月20,000計算的月數 |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| 4組的 A/B/n（Bonferroni） | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2，每格 vs 對照組（未校正） | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2，每個組別 vs 對照組（Bonferroni） | 176,896 | 35.4 | 8.8 |
| MVT 交互作用，效果減半（16 倍法則） | 445,248 | 89.0 | 22.3 |
在每月 20,000 名訪客的頁面上，要判讀每個組合的 2×2×2 多變量測試，經過校正後幾乎需要將近一年。若每月只有 5,000 名訪客，則需要好幾年。我們的看法是：多變量測試在 B2B 網站上很少可行，而像「我們做了多變量測試，第 6 組勝出」這種基於每月幾千名訪客的說法，在任何人據此採取行動之前，都應該嚴格檢視樣本數。
大多數團隊犯的錯誤
常見的錯誤是依企圖心而不是依問題來選擇測試類型。團隊選擇 MVT 是因為點子很多，而不是因為需要知道點子之間是否有交互作用。選擇五個版本的 A/B/n 測試，是因為大家無法對單一版本達成共識。這兩種選擇都會把有限的流量切得太碎，無法判讀。
第二個錯誤是，真正的問題在於受眾時卻去測試元素。在 B2B 網站上，什麼能帶來轉換，往往取決於誰在看，而不是顯示哪個標題。製造業買家與 SaaS 創辦人需要的佐證不同。對所有人測試標題 A 與 B，會把這些受眾平均在一起，可能掩蓋了某個版本在一個區隔大勝、卻在另一個區隔落敗的情況。這就是進行針對區隔的個人化測試的理由。
決策表：該執行哪種測試
| 情境 | 頁面每月訪客數 | 調整的元素 | 建議測試 |
|---|---|---|---|
| 一個明確假設、大幅變更 | 任何規模，包括 5,000 以下 | 一個概念（可能涉及多個元素） | A/B |
| 兩到三種真正不同的做法 | 15,000+ | 整頁概念 | A/B/n，最多3組 |
| 需要知道元素之間是否有交互作用 | 100,000+ | 2 到 3 個元素，各 2 個版本 | 多變量（全因子） |
| 不同受眾可能想要不同的東西 | 區隔內有足夠流量 | 針對區隔量身打造的內容 | 針對區隔的測試與對照組比較 |
| 流量不足以支撐上述任何一項 | 少於 2,000 | 任何 | 先做質性研究，再針對較大的變更進行 A/B 測試 |
這些流量門檻是以 3% 基準轉換率估算的粗略參考。正式投入前，請用樣本數公式自行計算。
各類型的優良測試範例
A/B 測試
- 示範頁上的示範表單與即時行事曆預約比較。
- 首頁以功能為主的主視覺，對上以成果為主的主視覺。
- 含有「洽詢業務」方案的價格頁面 vs 每個方案都公開價格。
在 A/B 測試中把多個元素打包成一個概念是可以的。您會知道這個概念是否勝出，而不是哪個元素造成的，而這通常正是您真正需要做的決定。我們的 B2B 轉換率最佳化指南說明了如何為這些點子排定優先順序。
A/B/n 測試
- 在一個高流量付費到達頁面上的三個價值主張：速度、節省成本、降低風險。
- 三種 CTA 優惠：展示、ROI 評估、產品導覽。關於優惠類型如何隨階段改變，請參閱我們的數據驅動的個人化 CTA指南。
除非流量特別大，否則 A/B/n 測試以三組為限（對照組加兩個版本），並讓每組有實質差異，使效果大到足以區分。
多變量測試
- 在流量非常高的首頁上測試標題（2 個版本）× 社會認同類型（標誌牆 vs 客戶案例引言），前提是您有具體理由預期兩者會互相影響。
如果您說不出預期會有什麼交互作用，大概就不需要多變量測試。
鎖定客群的個人化測試
- 針對金融服務公司訪客的產業專屬首頁主視覺 vs. 預設主視覺。
- 針對員工超過 1,000 人的公司，在價格頁上呈現以大型企業為主的佐證（安全性、規模），與標準頁面比較。
- 為 ABM 客戶提供目標客戶問候語與客戶案例 vs 通用頁面。
如何用保留組測試個人化
個人化測試是只在單一區隔內進行的 A/B 測試。對照組是該區隔中看到預設頁面的保留組。沒有對照組，您就無法區分個人化的效果與該區隔本來就可能有不同轉換表現的事實。
- 精確定義區隔，例如「被識別為員工 200 人以上金融服務業公司的訪客」。只有這些訪客會進入測試。
- 衡量每月進入受測頁面的區隔流量。決定測試期間的是這個數字，而不是全站總流量。
- 選擇保留組的規模。50/50 分配最快能判讀結果。較小的保留組能讓更多訪客免於看到預設體驗，但需要更多時間。
- 選擇該區隔實際會做的轉換，以該次造訪或該客戶的多次造訪來衡量，並將商機作為防護指標。
- 在上線前固定樣本數與時長，並且只針對該區隔判讀結果。
範例（示意數字）：某區隔每月帶來 3,000 位訪客，轉換率 3%，而您希望偵測到 30% 的相對提升。以不等分配（非合併）版本的公式計算，同樣採用 95% 信賴水準和 80% 檢定力：
| 保留組比例 | 所需總訪客數 | 以每月 3,000 計算所需月數 |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
10%的保留組，判讀結果所需時間約為50/50分流的2.5倍。我們的建議：每個區隔的第一次測試採50/50分流以取得明確答案，上線後再保留一個小型的常設保留組（10%到20%），追蹤效果是否持續。個人化測試路線圖說明如何在各區隔間安排這些測試的順序。請從流量最大、訊息落差最明顯的區隔開始，因為它最快能判讀。如果某個區隔每月只帶來幾百位訪客，就完全跳過區隔測試；在那樣的流量下，即使是50/50分流，一年內也得不到可判讀的答案。
執行這些對照組測試，需要在頁面渲染前識別出分眾，並只拆分該分眾。Markettailor 的A/B 測試依分眾執行，使用公司層級的分眾決定誰進入每項測試，因此金融科技測試只會出現金融科技訪客。
常見問題
A/B 測試與多變量測試有什麼不同？
A/B 測試比較頁面的兩個完整版本。多變量測試則同時改變多個元素並測試所有組合，因此能顯示哪些元素重要、彼此是否有交互作用，代價是需要多得多的流量。
什麼是 A/B/n 測試？
A/B/n 測試同時比較一個對照組與兩個以上的完整版本。當您有幾個真正不同的做法時很有用，但每多一組都需要自己的樣本，以及更嚴格的顯著性門檻。
多變量測試需要多少流量？
在轉換率3%的頁面上進行2×2×2測試，要針對20%提升將8種組合各自與對照組比較，依多重比較校正方式不同，大約需要111,000到177,000名訪客。偵測交互作用可能需要數倍以上。
多變量測試對 B2B 網站值得嗎？
很少。大多數 B2B 頁面的流量不足以在幾個月內判讀組合或交互作用。針對較大概念的 A/B 測試，以及鎖定客群的個人化測試，通常能更快給出更清楚的答案。
可以同時結合 A/B 測試與多變量測試嗎？
可以。常見的順序是先對概念做 A/B 測試，然後只在流量非常高的頁面上，如果有特定的交互作用要確認，再針對勝出概念中的兩個元素做小型因子測試。