計算機的運作方式
樣本數分頁使用以雙尾雙比例 z 檢定比較兩個轉換率的標準公式：
每個版本的 n = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1是您所測試之確切頁面和目標的基準轉換率。
- p2 為基準乘以（1 + 最小可偵測效果）。
- p̄ 是 p1 和 p2 的平均值。
- 在 95% 信賴水準下 zα/2 為 1.96，在 80% 檢定力下 zβ 為 0.84。
當版本超過一個時，計算機會將 alpha 除以與對照組比較的次數（Bonferroni 校正），讓整體偽陽性率維持在您選擇的信賴水準。我們的 A/B 測試樣本數指南會逐步說明公式，並附上常見 B2B 轉換率的對照表。
實例
示意數字：某個示範預約頁面的轉換率為3%，每週有2,000名訪客。您想知道新標題能否讓轉換提升至少20%，因此 p2 為3.6%。計算工具得出每個版本約13,900名訪客，總共27,800名，相當於14週的流量。這對許多 B2B 頁面來說是誠實的答案，也是為什麼這個工具會標記任何超過一季的測試。
縮短測試時間的三種方法：測試更大膽的改動，並將最小可偵測效果提高到 30% 以上；衡量更頻繁的事件，例如點擊進入 Demo 頁面；或在流量更高的頁面上測試。如果您正在 A/B 測試與同時測試多個元素之間做選擇，請先閱讀A/B 測試與多變量測試比較，因為多變量測試需要的流量多得多。
解讀顯著性結果
顯著性分頁比較兩組已完成的測試。假設對照組有5,000位訪客、150次轉換（3.0%），版本組有5,000位訪客、190次轉換（3.8%）。相對提升為26.7%，p 值約為0.027，差異的95%信賴區間約為0.1到1.5個百分點。結果具顯著性，但區間很寬：真實提升可能很小。請把測得的提升視為偏高的估計值，尤其是測試提早停止的時候。
低流量 B2B 網站該先測試什麼，請參閱我們轉換率優化指南中的測試章節。如果您測試的是個人化體驗而非單一頁面變更，Markettailor 的A/B 測試會依訪客區隔設置對照組。
常見問題
A/B 測試需要多少訪客？
這取決於您的基準轉換率，以及您想偵測的最小提升幅度。在3%的基準下，要以95%信心水準和80%檢定力偵測20%的相對提升，每個版本約需13,900名訪客。想偵測的提升幅度減半，所需樣本大約會變成四倍。
A/B 測試的統計顯著性如何計算？
這個計算機使用雙尾雙比例 z 檢定。它合併兩組來估計在沒有真實差異時預期的雜訊，將觀察到的轉換率差異除以該標準誤，再把得到的 z 分數轉換為 p 值。p 值低於0.05即在95%信心水準下具顯著性。
A/B 測試應該跑多久？
直到達到上線前計算的樣本數，並且至少執行一整週，讓平日與週末的行為都納入。上方的時長估算是將總樣本數除以受測頁面的每週流量。
A/B 測試一達到顯著就可以停止嗎？
不行。反覆查看結果並在第一次出現顯著時就停止，會讓偽陽性率遠高於5%。請事先決定樣本數，達到後再判讀一次結果，或使用專為持續監控設計的方法，例如序貫檢定。
如果我的 B2B 網站流量不夠做 A/B 測試怎麼辦？
測試較大的改動、選擇較常發生的轉換事件（例如點擊進入 Demo 頁面，而不是已預約的 Demo）、在流量最高的範本上測試，或接受較長的測試期。如果一個測試需要超過一季，就改用質性研究與保留對照組比較。