A/B 測試樣本數公式告訴您，每個版本需要多少訪客，轉換率的差異才有意義。在95%信心水準、80%檢定力的標準雙尾檢定下，每個版本大約需要 n = (1.96 + 0.84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)² 位訪客，其中 p1 是您的基準轉換率，p2 是您希望偵測到的轉換率。
把這個公式套用到真實的 B2B 數字上，結果讓人不太舒服。轉換率 3% 的頁面，每個版本大約需要 14,000 位訪客，才能可靠地偵測 20% 的相對提升。許多 B2B 頁面一季都沒有這麼多訪客。以下內容包括：逐項說明公式的輸入值、一系列基準轉換率的計算表、在特定流量下測試需要多久，以及當答案是「八個月」時該怎麼辦。
我們的立場：大多數 B2B A/B 測試的檢定力不足
先說數學支持的觀點。我們認為，大多數 B2B A/B 測試在累積足夠資料前就被停止了，而它們產生的許多「勝出版本」其實只是雜訊。常見模式是這樣的：測試跑三週，某個版本領先 25%，出現綠色標章，變更上線，六個月後銷售管道卻看不出任何提升。
檢定力不足的測試會錯過真實效果，白白浪費一個測試名額。更糟的是，當檢定力不足的測試真的跨過顯著性門檻時，測得的提升往往被高估，因為只有運氣好的抽樣才能過關。統計學家稱之為幅度誤差（M 型誤差）。團隊上線了一個可能毫無作用的變更，還在 CRO 報告中記下一個灌水的數字。在上線前算好樣本數，是成本最低的防護措施。
A/B 測試樣本數公式
比較兩個轉換率的標準公式（雙比例 z 檢定）如下：
每個版本的 n = [ zα/2 × √(2 × p̄ × (1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
每項輸入的白話意義：
- p1（基準轉換率）：您正在測試的頁面與目標目前的轉換率。請使用過去4到8週內，該確切轉換事件在該確切頁面上的轉換率，而不是全站平均值。
- p2（目標轉換率）：基準值乘以（1 + MDE）。若基準為 3%、相對 MDE 為 20%，則 p2 = 3.6%。
- MDE（最小可偵測效果）：您在意偵測到的最小相對提升幅度。這是商業決策，而不是統計決策。MDE 越小，所需流量就大幅增加，因為差值（p2 − p1）在分母中是平方。MDE 減半，樣本大約變成四倍。
- p̄（合併比率）：p1 與 p2 的平均值。它描述在沒有真實差異的假設下的雜訊。
- zα/2 = 1.96：對應 5% 的偽陽性率（alpha 0.05），分攤在兩尾，因為版本可能更好也可能更差。
- zβ = 0.8416：對應80%的檢定力，意思是如果真實提升幅度等於您的 MDE，測試有80%的機率能偵測到。另外20%的情況下，您會錯過真正的贏家。
許多計算機使用第一段所示的簡化非合併版本。在 B2B 的轉換率下，兩者只差幾位訪客。我們的 A/B 測試計算機使用上述的合併公式，並會估算測試期間。
逐步計算範例
範例（示意數字）：展示預約頁面的轉換率為3%。您想偵測20%的相對提升。
- 設定轉換率：p1 = 0.030，p2 = 0.030 × 1.2 = 0.036。絕對差異為 0.006。
- 合併比率：p̄ = (0.030 + 0.036) / 2 = 0.033。
- 第一項：√(2 × 0.033 × 0.967) = √0.06382 = 0.2526。乘以 1.96：0.4951。
- 第二項：p1(1−p1) = 0.0291，p2(1−p2) = 0.0347。√(0.0638) = 0.2526。乘以0.8416：0.2126。
- 相加後平方：(0.4951 + 0.2126)² = 0.7077² = 0.5009。
- 除以差異的平方：0.5009 / 0.006² = 0.5009 / 0.000036 = 每個版本13,914位訪客。
因此，在判讀結果之前，這項測試總共需要約27,800名訪客，光是對照組就需要大約417次轉換（13,914 × 3%）。交叉驗證的話，簡化的非合併公式得出每個版本13,911名，反正弦（Cohen's h）近似法則約為13,890名。三種方法的差異在0.2%以內。
B2B 轉換率樣本數對照表
下表套用上述合併公式（alpha 0.05 雙尾、檢定力0.8），基準轉換率範圍從1%（例如：熱門頁面所有訪客中申請 Demo 的比例）到10%（例如：CTA 點擊這類微轉換）。請使用您自己的基準值；這些列只是參考點。數值為每個版本所需的訪客數，以 Node.js 計算並無條件進位。
| 基準轉換率 | 10%相對 MDE | 20% 相對 MDE | 30% 相對 MDE | 50% 相對 MDE |
|---|---|---|---|---|
| 1% | 163,095 | 42,693 | 19,827 | 7,750 |
| 2% | 80,682 | 21,109 | 9,798 | 3,826 |
| 3% | 53,211 | 13,914 | 6,455 | 2,518 |
| 5% | 31,234 | 8,158 | 3,780 | 1,471 |
| 10% | 14,751 | 3,841 | 1,774 | 686 |
將 MDE 從 10% 提高到 50%，所需樣本數大約減少為二十分之一。基準轉換率加倍，所需樣本數大約減半。流量無法快速改變，但您可以選擇要測試的變化幅度與要衡量的轉換；在小型網站上，這正是最重要的兩個槓桿。
測試需要多久？
所需時間等於所需訪客總數（兩個版本合計）除以實際進入受測頁面的每月訪客數。下表顯示在三種流量規模下，50/50 分配所需的月數。
| 頁面每月訪客數 | 基準值 | 10% MDE | 20% MDE | 30% MDE | 50% MDE |
|---|---|---|---|---|---|
| 2,000 | 2% | 80.7 | 21.1 | 9.8 | 3.8 |
| 2,000 | 3% | 53.2 | 13.9 | 6.5 | 2.5 |
| 2,000 | 5% | 31.2 | 8.2 | 3.8 | 1.5 |
| 5,000 | 2% | 32.3 | 8.4 | 3.9 | 1.5 |
| 5,000 | 3% | 21.3 | 5.6 | 2.6 | 1.0 |
| 5,000 | 5% | 12.5 | 3.3 | 1.5 | 0.6 |
| 20,000 | 2% | 8.1 | 2.1 | 1.0 | 0.4 |
| 20,000 | 3% | 5.3 | 1.4 | 0.6 | 0.3 |
| 20,000 | 5% | 3.1 | 0.8 | 0.4 | 0.1 |
無論表格怎麼說，每個測試都至少要執行兩個完整週，讓平日與週末的行為，以及任何活動高峰，都能同時反映在兩組中。而任何超過三個月的測試，大概都不該以目前的形式執行：在這段期間內，頁面內容、活動與流量組合都會逐漸改變，最後的結果描述的是一個已經不存在的網站。
在每月 5,000 名訪客、3% 基準轉換率的情況下，50% 的提升大約一個月就能判讀，10% 的提升則需要將近兩年。沒有人會讓頁面兩年不變，所以第二個測試會被提早停止，然後被當成有意義的結果來解讀。
大多數團隊犯的錯誤
- 在估算期間時使用全站流量。只有接觸到受測元素的訪客才算數。在一個每月 20,000 名訪客的網站上，價格頁測試每月可能只有 2,000 名符合條件的訪客。
- 在測試後才決定 MDE。如果您在上線前將 MDE 設為30%，測試結果顯示12%，您得到的不是一個提升12%的贏家，而是一個沒有定論的測試。
- 偷看結果，並在第一次出現綠色標記時就停止。Evan Miller 的分析 How Not To Run an A/B Test 指出，反覆進行顯著性檢定一定會提高偽陽性率。在他的範例中（基準 50%、改動完全無效、結果一達到 5% 顯著水準或 150 次觀察後就停止），偽陽性率是 26.1%，而非名目上的 5%。
當數字顯示需要好幾個月：七種選擇
1. 測試幅度更大的變更
降低樣本數最省錢的方法，是誠實地提高 MDE，也就是測試幅度大到確實可能產生該效果的變更：新的價值主張、不同的優惠（即時預約 vs. 聯絡表單）、針對單一產業量身打造的頁面而非通用頁面。我們的 B2B 轉換率優化指南說明了如何依預期效果大小排列測試構想的優先順序。
2. 在流量較高的頁面上測試
首頁、熱門部落格文章與高流量到達頁面，每月能帶給您更多訪客（哪些頁面通常承載最多決策階段流量，請參考我們關於B2B 到達頁面優化的筆記）。在多個頁面共用的範本上測試（所有解決方案頁面、所有部落格文章），可以把它們的流量匯集到同一個實驗中。
3. 謹慎使用微轉換
CTA 點擊或開始填寫表單等微轉換的基準較高，因此適用表格中 10% 那一列，而非 2% 那一列。問題在於：某個版本可能提高點擊，卻降低合格示範數。只有在有證據顯示微轉換會與巨轉換目標同步變動時，才以微轉換作為決策指標，並且一定要同時報告巨轉換作為防護指標。
4. 先合併分眾，之後再拆分
每個區隔分別執行測試會分散您的流量。請跨區隔執行一個測試，再把區隔層級的結果只當作方向性參考。如果您需要針對特定區隔的答案，測試規模就必須只依該區隔的流量來設定。90天個人化測試路線圖說明如何安排區隔測試的順序，讓每一個都有足夠流量。
5. 使用序列檢定
序列設計（預先規劃期中檢視的群組序列檢定，或部分測試工具內建的隨時有效方法）可讓您在測試期間查看結果，並在效果很大時提前停止，而不會增加偽陽性。代價是如果測試跑完全程，最大樣本數會稍微大一點。這是合法版本的「偷看」。如果測試需要好幾個月，請先把預算花在工作階段錄影與表單分析等診斷用的CRO 工具上。
6. 考慮貝氏方法，並設定清楚的預期
貝氏 A/B 測試會回報 B 勝過 A 的機率，以及選錯時的預期損失。這比 p 值更容易據以行動，也讓您能做出明確的決策，例如「若勝出機率高於 90% 且預期損失低於 0.1 個百分點，就上線」。對於可逆的變更，接受這樣的風險通常是合理的。
貝氏方法做不到的，是無中生有創造資訊。在弱先驗下，要對20%提升有信心所需的資料量，與頻率學派表格中的數字差不多。在極小樣本上得到90%的「勝出機率」依然很脆弱，而每天搭配停止規則查看一次，實務上仍會提高錯誤率。貝氏檢定改變的是您表達不確定性和做決策的方式，並不會縮小不確定性。
7. 不要偷看，或事先規劃偷看時機
在上線前確定樣本數，寫進測試簡報，並在達到之前不要宣告結果。如果利害關係人需要期中更新，請從一開始就採用序列設計，而不是臨時檢查。我們的實驗計畫範本為每一項決策都準備了欄位。
上線前檢查清單
- 針對確切的頁面與轉換，取得基準轉換率與每月符合條件的訪客數（過去 4 到 8 週）。
- 依變更的幅度選擇 MDE，並記錄下來。
- 以公式或上方表格計算每個版本的 n，再計算時長。
- 如果所需時間超過約三個月，請重新設計測試（更大的變更、流量更高的頁面，或基準更高的指標並搭配防護指標）。
- 設定停止規則：固定樣本數，或預先規劃檢視時點的序列計畫。
對 B2B 團隊而言，最大的效果通常來自向不同訪客顯示不同內容，而不是為所有人打磨同一個頁面，因為為某個分群撰寫的訊息，是比換個按鈕顏色更大的改動。如果您正在簡單的分流測試與包含多個版本或因子的測試之間做選擇，請閱讀我們的A/B 測試與多變量測試比較，其中將同樣的樣本數計算套用到 A/B/n 與多變量設計上。
當您準備好對區隔專屬體驗進行測試時，Markettailor 的個人化頁面 A/B 測試能讓每個區隔都與對照組比較，並依區隔追蹤結果，讓您規劃的樣本數就是實際得到的樣本數。
常見問題
A/B 測試樣本數的公式是什麼？
對於兩個轉換率，每個版本的 n = [1.96 × √(2p̄(1−p̄)) + 0.8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)²，其中 p1 為基準值、p2 為目標轉換率、p̄ 為兩者的平均值。此公式假設 95% 信賴水準（雙尾）與 80% 檢定力。
轉換率 2% 時，A/B 測試需要多少訪客？
在95%信心水準和80%檢定力下，要偵測20%的相對提升，每個版本約需21,100位訪客；30%提升約需9,800位；50%提升約需3,800位。總測試流量為這些數字的兩倍。
貝氏 A/B 測試需要的樣本數比較小嗎？
沒有實質差異，除非您有充分且合理的先驗資訊。貝氏測試提供更直覺的結果（勝過對照組的機率、預期損失），也支援以風險為基礎的決策，但要對特定提升幅度有信心所需的資料量，與頻率學派的計算相近。
B2B 網站應該使用多大的最小可偵測效應？
依您的流量來選擇 MDE，而不是一廂情願。先計算以您頁面的流量在六到八週內能偵測到什麼，然後只測試幅度大到可能產生該提升的變更。在上方的時長表中，每月 5,000 名訪客、基準轉換率 3% 的頁面，在三個月內只能偵測到約 30% 以上的提升。
如果 A/B 測試已經顯著，可以提早停止嗎？
標準的固定樣本測試不行，因為反覆查看會提高偽陽性。如果您需要提前停止的選項，請採用循序檢定設計，並在上線前規劃好期中分析。