實驗計畫範本會逼您做出大多數 A/B 測試略過的決定：您確切預期會發生什麼、哪一個指標決定勝負、需要多少訪客，以及什麼時候可以停止。在上線前寫下這些，是防止把雜訊誤讀為結果最便宜的方法。以下範本每個測試一頁。您可以複製到文件工具中，或下載 CSV 範本，在試算表中管理測試待辦清單。
它是為 B2B 的流量規模所設計，在這種規模下，一個測試可能需要好幾週。如果您以前沒有規劃過測試，請先閱讀我們的轉換率優化指南，了解在低流量下什麼值得測試。
A/B 測試計畫範本
在測試上線前填完每一列。空白的一列，就是您會在看到資料後才做的決定，而這正是計畫要避免的。
| 區塊 | 欄位 | 要寫什麼 |
|---|---|---|
| 1. 背景 | 測試名稱與 ID | 簡短、可搜尋的名稱，例如「DEMO-07 五欄位表單」 |
| 負責人 | 由一個人負責上線、監控並回報測試 | |
| 背後的證據 | 讓您選擇這項測試的資料、錄影或客戶原話 | |
| 2. 假設 | 變更 | 對照組與測試版本之間的確切差異 |
| 預期效果 | 哪個指標變動、往哪個方向 | |
| 原因 | 您認為會發生的原因，用一句關於買家行為的話說明 | |
| 3. 指標 | 主要指標 | 決定結果的單一指標，以及其確切的事件定義 |
| 護欄指標 | 絕不能變差的指標（潛在客戶品質、跳出率、頁面速度） | |
| 次要指標 | 有趣但不具決定性（捲動深度、點擊進入價格頁） | |
| 4. 受眾 | 頁面 | 納入測試的網址 |
| 涵蓋對象 | 所有訪客，或某個區隔，例如付費流量或某個公司規模級距 | |
| 排除對象 | 既有客戶、內部流量、機器人 | |
| 流量分配 | 兩組時通常為50/50 | |
| 5. 統計 | 基準轉換率 | 此頁面與此指標的最近4至8週 |
| 最小可偵測效果 | 值得採取行動的最小相對提升幅度 | |
| 信心水準與檢定力 | 通常為95%和80% | |
| 每個版本的樣本數 | 取自A/B 測試計算機 | |
| 預計時長 | 樣本數除以每週流量，無條件進位至整週 | |
| 6. 規則 | 停止規則 | 何時解讀結果（達到樣本數時，絕不提前） |
| 停止規則 | 什麼情況會讓您提前停止（版本故障、防護指標下滑） | |
| 決策規則 | 結果勝出、落敗或無定論時，各自要上線什麼 | |
| 7. 成果 | 執行日期 | 開始與結束日期 |
| 各組結果 | 訪客、轉換、轉換率 | |
| 顯著性與區間 | 差異的 p 值與信賴區間 | |
| 決策與學習 | 您推出了什麼，以及從中學到了哪些關於買方的事 |
如何填寫
- 從證據出發，而不是從點子出發。第 1 節要問的是這個測試為什麼存在。好的來源包括：異常流失的漏斗步驟、工作階段錄影、業務通話筆記、CRO 稽核檢查清單的發現。「執行長想要新的主視覺」不是證據。
- 寫下可被否證的假設。「如果我們把示範表單從九個欄位減到五個，每位訪客的示範申請數會上升，因為買家在看到產品之前就被問預算時會放棄。」沒有理由的假設，失敗時什麼也教不了您。
- 只選一個主要指標。如果選三個，其中一個很可能會因為偶然而變動，而您會想把它當成勝利。
- 在建置前先計算測試規模。將基準值與最小可偵測效果輸入計算機。如果測試需要超過一季，就改變計畫：測試更大的變更、使用更高頻的指標，或挑選流量更高的頁面。我們的A/B 測試樣本數指南說明了其中的取捨。
- 事先約定決策規則。決定「無定論」對您代表什麼。許多 B2B 團隊在結果持平時會上線較簡單的版本，只要在上線前寫下來，這就是個好規則。
填寫完成的示意計畫
虛構 B2B 軟體公司的示意數字。
| 欄位 | 進入 |
|---|---|
| 測試名稱 | DEMO-07 五欄位展示表單 |
| 佐證 | 表單分析顯示最多人在「預算」欄位放棄；業務也確認第一次通話時不會用到它 |
| 假設 | 將表單從九個欄位減為五個，能提高每位訪客的示範預約數，因為買家在看到產品之前不會透露預算 |
| 主要指標 | 示範表單送出次數除以 /demo 的不重複訪客數 |
| 防護指標 | 被業務認可為合格的提交比例，降幅不得超過四分之一 |
| 受眾 | 所有造訪 /demo 的訪客，排除已登入的客戶和內部 IP；50/50 分流 |
| 基準值 | /demo 訪客中有 8% 提交 |
| 最小可偵測效果 | 20%相對提升（8.0%到9.6%） |
| 樣本數 | 在95%信心水準與80%檢定力下，每個版本約需4,900位訪客 |
| 持續時間 | /demo 每週約有 1,500 名訪客，因此總共約 9,800 名訪客需要 7 週 |
| 停止規則 | 在滿 7 週後，或兩組都超過 4,900 名訪客後讀取結果，以較晚者為準 |
| 停止規則 | 若版本表單無法送出，或前兩週的合格率下降一半，就停止測試 |
| 決策規則 | 勝出：上線五個欄位的版本。落敗：保留九個欄位。無定論：上線五個欄位的版本，因為它比較簡單，缺口可由資料擴充補足 |
測試待辦清單
CSV 下載檔也包含一份待辦清單工作表，讓您在撰寫完整計畫前先為測試排序。每個構想一列：
| ID | 頁面 | 構想 | 佐證 | 影響（1-3） | 信心（1-3） | 難易度（1-3） | 分數 | 所需週數 | 狀態 |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | 五個欄位的表單 | 欄位流失 | 3 | 2 | 3 | 8 | 7 | 已規劃 |
| HOME-03 | / | 產業專屬主視覺 | ICP 訪客跳出率較高 | 3 | 2 | 2 | 7 | 10 | 構想 |
得分高但需要超過 12 週的點子，比較適合用保留組比較或個人化規則，而不是傳統的 A/B 測試。各方法的適用時機，請參閱 A/B 測試與多變量測試的比較。
常見問題
A/B 測試計畫應該包含哪些內容？
附理由的假設、一個有精確定義的主要指標、防護指標、受眾與分組、基準轉換率、最小可偵測效果、樣本數、時長，以及停止、終止與決策規則。再加上結果章節，讓這份計畫成為該測試的紀錄。
實驗計畫和測試簡報有什麼不同？
這兩個詞經常互換使用。有些團隊用「需求說明」指發給設計師的設計和文案需求，用「計畫」指統計設定。這個範本兩者都涵蓋，創意變更則寫在假設部分。
B2B A/B 測試應該跑多久？
直到達到您計算出的樣本數，而且至少跑滿一整週。許多 B2B 頁面需要四到十二週。如果計算結果超過一季，請調整測試，而不是提早停止。
每個小測試都要寫計畫嗎？
需要，不過按鈕文案測試的計畫可能只要五行。停止規則與主要指標是絕對不能省略的兩個部分，因為它們能防止您把隨機波動誤認為勝利。