什麼是 A/B 測試？定義與實際範例

A/B 測試是一種隨機對照實驗：將訪客隨機分配到頁面、電子郵件或功能的兩個版本（對照組 A 與版本 B），並比較預先定義的指標，判斷兩者之間的差異是否大於偶然所能解釋的範圍。這是了解某項變更是否真正帶來改善（而非只是剛好同時發生）的標準方法。

這個方法在線上產品中已經相當成熟；Kohavi 等人的實務指南至今仍是標準參考資料（Kohavi et al., "Controlled experiments on the web", Data Mining and Knowledge Discovery, 2009）。

A/B 測試如何運作

假設與指標。說明改動內容、預期效果，以及一個主要指標，例如預約示範率。
隨機分配。每位訪客隨機分配到 A 或 B，回訪時也維持在同一組，因此兩組之間唯一的差異就是那項變更。
樣本數。根據基準轉換率、值得偵測的最小提升幅度（最小可偵測效果）、顯著水準與檢定力，事先決定每個版本需要多少訪客。
執行。讓測試達到該樣本數，最好涵蓋完整的週數。不要因為某一邊看起來領先就提早停止。
分析。比較兩者比率。若在實際上毫無差異的情況下，出現這麼大差距的機率低於 5%，結果就在 5% 水準下具統計顯著性。

有兩個設定很重要。顯著水準（通常為 5%，常稱為 95% 信賴水準）控制偽陽性。檢定力（通常為 80%）是效果真實存在時偵測到它的機率；檢定力不足的測試多半只會得到「沒有結果」。

範例

範例：某個 Demo 頁面的轉換率為 3%。您想以雙尾檢定、5% 顯著水準與 80% 檢定力，偵測 20% 的相對提升（從 3.0% 到 3.6%）。標準的雙比例公式為：

n per variant = [z_α/2 x √(2 p̄(1 − p̄)) + z_β x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²

p₁ = 0.030，p₂ = 0.036，p̄ = 0.033，z_α/2 = 1.96，z_β = 0.84
第一項：1.96 x √(2 x 0.033 x 0.967) = 1.96 x 0.2526 = 0.495
第二項：0.84 x √(0.0291 + 0.0347) = 0.84 x 0.2526 = 0.213
分子：(0.495 + 0.213)² = 0.501；分母：0.006² = 0.000036
每個版本 n ≈ 13,900 名訪客，總計約 27,800 名

以該頁面每週2,000位訪客計算，測試大約需要14週。這就是有用的結論：在動手建置之前，您就知道這個頁面無法在合理時間內支撐偵測20%提升的測試，所以您可以測試更大膽的改變、改用流量更高的頁面，或直接上線並持續監控。您可以用我們的A/B 測試計算機或 Evan Miller 的樣本數計算機重現這個數字。

A/B、A/B/n 與多變量測試比較

	A/B	A/B/n	多變量測試（MVT）
變動的內容	一個對照組對一個版本	一個對照組 vs 多個版本	同時測多個元素的所有組合
所需流量	最低	隨每個版本增加	最高：流量分散到所有組合
回答	B 比 A 好嗎？	多個版本中哪一個最好？	哪種元素組合有效？它們之間是否有交互作用？
適合	大多數 B2B 頁面	有實際流量的標題或優惠	僅限高流量頁面

Nielsen Norman Group 總結了其中的取捨：多變量測試適合在高流量頁面上做漸進式微調，而 A/B 測試可以比較截然不同的設計（NN/g，〈Multivariate vs. A/B Testing〉）。

B2B 團隊如何運用 A/B 測試

測試展示與聯絡表單的長度與用語。
比較高流量到達頁面上的價值主張與標題。
驗證個人化：區隔專屬內容 vs 通用頁面，並設保留組。
價格頁面版面與方案呈現方式。
在數量允許的情況下，用於電子郵件主旨和培育內容。

常見問題

A/B 測試應該跑多久？

直到達到上線前計算的樣本數，並且至少執行一整週，最好兩週，讓每個星期幾都有資料。將每個版本所需訪客數除以每個版本的每週流量，即可估算時長。如果答案是好幾個月，代表這項測試依目前設計並不可行。

最小可偵測效果多少算好？

考量變更成本後，值得採取行動的最小提升幅度。流量低的 B2B 頁面通常需要較大的最小可偵測效果，往往是20%以上的相對提升，才能在合理時間內完成。較小的效果可能是真實的，但需要多得多的流量，因為樣本數大約與效果大小的平方成反比。

流量低也能做 A/B 測試嗎？

可以，但要測試幅度更大的變更、選擇漏斗中流量最高的步驟，並挑選經常發生的指標，例如前往展示頁面的點擊，而不是成交的交易。如果連這樣都太慢，就根據研究做出變更並監測前後差異，同時接受證據力較弱的事實。

什麼是 A/B 測試？定義與計算範例