Một mẫu kế hoạch thử nghiệm buộc bạn đưa ra những quyết định mà phần lớn A/B test bỏ qua: chính xác bạn kỳ vọng điều gì xảy ra, chỉ số duy nhất nào quyết định bên thắng, bạn cần bao nhiêu khách truy cập, và khi nào bạn được phép dừng. Ghi lại những điều đó trước khi chạy là cách phòng ngừa rẻ nhất để không đọc nhiễu thành kết quả. Mẫu dưới đây gồm một trang cho mỗi test. Sao chép vào công cụ tài liệu của bạn, hoặc tải mẫu dưới dạng CSV để quản lý danh sách test trong bảng tính.
Nó được thiết kế cho mức lưu lượng B2B, nơi một bài kiểm thử có thể mất nhiều tuần. Nếu bạn chưa từng lập kế hoạch kiểm thử, hãy đọc hướng dẫn tối ưu hóa tỷ lệ chuyển đổi của chúng tôi trước để biết điều gì đáng kiểm thử khi lưu lượng thấp.
Mẫu kế hoạch A/B test
Điền mọi dòng trước khi thử nghiệm chạy. Một dòng bỏ trống là một quyết định bạn sẽ đưa ra sau khi thấy dữ liệu, đó chính xác là điều kế hoạch muốn ngăn chặn.
| Phần | Trường | Viết gì |
|---|---|---|
| 1. Bối cảnh | Tên và ID bài test | Tên ngắn, dễ tìm, ví dụ “DEMO-07 form năm trường” |
| Người phụ trách | Một người ra mắt, giám sát và báo cáo thử nghiệm | |
| Bằng chứng đằng sau | Dữ liệu, bản ghi phiên hoặc nhận xét của khách hàng khiến bạn chọn thử nghiệm này | |
| 2. Giả thuyết | Thay đổi | Chính xác điểm khác nhau giữa nhóm đối chứng và biến thể |
| Hiệu ứng kỳ vọng | Chỉ số nào thay đổi, theo hướng nào | |
| Lý do | Vì sao bạn nghĩ điều đó sẽ xảy ra, trong một câu về hành vi người mua | |
| 3. Chỉ số | Chỉ số chính | Một chỉ số quyết định kết quả, kèm định nghĩa sự kiện chính xác |
| Chỉ số bảo vệ | Các chỉ số không được phép xấu đi (chất lượng lead, tỷ lệ thoát, tốc độ trang) | |
| Chỉ số phụ | Thú vị nhưng không mang tính quyết định (độ sâu cuộn trang, lượt nhấp sang bảng giá) | |
| 4. Đối tượng | Trang | Các URL nằm trong thử nghiệm |
| Ai được bao gồm | Toàn bộ khách truy cập, hoặc một phân khúc như lưu lượng trả phí hay một nhóm quy mô công ty | |
| Ai bị loại trừ | Khách hàng hiện tại, traffic nội bộ, bot | |
| Phân chia lưu lượng | Thường là 50/50 cho hai nhánh | |
| 5. Thống kê | Tỷ lệ chuyển đổi cơ sở | 4 đến 8 tuần gần nhất cho trang này và chỉ số này |
| Hiệu ứng tối thiểu có thể phát hiện | Mức tăng tương đối nhỏ nhất đáng để hành động | |
| Độ tin cậy và power | Thường là 95% và 80% | |
| Cỡ mẫu mỗi biến thể | Từ công cụ tính A/B test | |
| Thời lượng dự kiến | Cỡ mẫu chia cho lưu lượng hàng tuần, làm tròn lên thành số tuần nguyên | |
| 6. Quy tắc | Quy tắc dừng | Khi nào bạn sẽ đọc kết quả (khi đạt đủ mẫu, không bao giờ sớm hơn) |
| Quy tắc dừng | Điều gì khiến bạn dừng sớm (biến thể bị lỗi, chỉ số bảo vệ sụt giảm) | |
| Quy tắc quyết định | Bạn sẽ triển khai gì nếu kết quả là thắng, thua hoặc không kết luận được | |
| 7. Kết quả | Ngày chạy | Ngày bắt đầu và kết thúc |
| Kết quả theo từng nhánh | Khách truy cập, chuyển đổi, tỷ lệ chuyển đổi | |
| Ý nghĩa thống kê và khoảng tin cậy | p-value và khoảng tin cậy của chênh lệch | |
| Ra quyết định và học hỏi | Những gì bạn đã triển khai và bài học về người mua |
Cách điền
- Bắt đầu từ bằng chứng, không phải ý tưởng. Phần 1 hỏi vì sao bài kiểm thử này tồn tại. Nguồn tốt: một bước trong phễu có mức rơi bất thường, bản ghi phiên truy cập, ghi chú cuộc gọi sales, một phát hiện từ checklist CRO audit. “CEO muốn hero mới” không phải bằng chứng.
- Viết giả thuyết có thể bác bỏ. “Nếu chúng ta rút form demo từ chín trường xuống năm, lượt gửi demo trên mỗi khách truy cập sẽ tăng, vì người mua bỏ dở khi bị hỏi về ngân sách trước khi được xem sản phẩm.” Một giả thuyết không có lý do sẽ chẳng dạy bạn điều gì khi nó thất bại.
- Chọn một chỉ số chính. Nếu chọn ba, một trong số đó có thể sẽ thay đổi do ngẫu nhiên và bạn sẽ muốn coi đó là chiến thắng.
- Tính quy mô bài test trước khi xây. Nhập mức cơ sở và hiệu ứng tối thiểu có thể phát hiện vào công cụ tính. Nếu bài test cần hơn một quý, hãy đổi kế hoạch: thử một thay đổi lớn hơn, dùng chỉ số có tần suất cao hơn hoặc chọn trang nhiều traffic hơn. Hướng dẫn về cỡ mẫu A/B test của chúng tôi giải thích các đánh đổi.
- Thống nhất quy tắc quyết định từ trước. Quyết định “không kết luận được” có nghĩa là gì với bạn. Nhiều đội B2B chọn triển khai biến thể đơn giản hơn khi kết quả ngang nhau, đó là một quy tắc ổn nếu được ghi lại trước khi chạy.
Kế hoạch mẫu đã điền sẵn
Số liệu minh họa cho một công ty phần mềm B2B hư cấu.
| Trường | Đầu vào |
|---|---|
| Tên test | DEMO-07 biểu mẫu demo năm trường |
| Bằng chứng | Dữ liệu phân tích form cho thấy phần lớn người dùng bỏ dở ở trường “Ngân sách”; sales xác nhận họ không dùng thông tin này trong cuộc gọi đầu tiên |
| Giả thuyết | Rút biểu mẫu từ chín xuống năm trường làm tăng số yêu cầu demo trên mỗi khách truy cập vì người mua sẽ không chia sẻ ngân sách trước khi xem sản phẩm |
| Chỉ số chính | Số lượt gửi biểu mẫu demo chia cho số khách truy cập duy nhất vào /demo |
| Rào chắn | Tỷ lệ lượt gửi form được sales chấp nhận là đủ điều kiện không được giảm quá một phần tư |
| Đối tượng | Mọi khách truy cập /demo, trừ khách hàng đã đăng nhập và IP nội bộ; chia 50/50 |
| Mức cơ sở | 8% khách truy cập /demo gửi form |
| Hiệu ứng tối thiểu có thể phát hiện | 20% tương đối (từ 8,0% lên 9,6%) |
| Cỡ mẫu | Khoảng 4.900 khách truy cập mỗi biến thể ở mức tin cậy 95% và độ mạnh thống kê 80% |
| Thời lượng | /demo có khoảng 1.500 khách truy cập mỗi tuần, nên tổng cộng khoảng 9.800 khách truy cập cần 7 tuần |
| Quy tắc dừng | Đọc kết quả sau 7 tuần trọn vẹn hoặc khi cả hai nhánh vượt 4.900 khách truy cập, tùy điều nào đến sau |
| Quy tắc dừng | Dừng nếu biểu mẫu của biến thể không gửi được hoặc tỷ lệ đủ điều kiện giảm một nửa trong hai tuần đầu |
| Quy tắc quyết định | Thắng: triển khai năm trường. Thua: giữ chín trường. Không kết luận: triển khai năm trường, vì nó đơn giản hơn và làm giàu dữ liệu lấp được khoảng trống |
Danh sách thử nghiệm chờ
Tệp CSV tải về cũng có một trang danh sách tồn đọng để bạn xếp hạng test trước khi viết kế hoạch đầy đủ. Mỗi ý tưởng một dòng:
| ID | Trang | Ý tưởng | Bằng chứng | Tác động (1-3) | Độ tin cậy (1-3) | Độ dễ (1-3) | Điểm | Số tuần cần thiết | Trạng thái |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Biểu mẫu năm trường | Tỷ lệ bỏ dở theo trường | 3 | 2 | 3 | 8 | 7 | Dự kiến |
| HOME-03 | / | Phần hero theo ngành | Khách truy cập thuộc ICP thoát trang nhiều hơn | 3 | 2 | 2 | 7 | 10 | Ý tưởng |
Những ý tưởng có điểm cao nhưng cần hơn 12 tuần phù hợp với so sánh nhóm đối chứng hoặc quy tắc cá nhân hóa hơn là A/B test truyền thống. Xem A/B testing và thử nghiệm đa biến để biết khi nào dùng phương pháp nào.
Câu hỏi thường gặp
Một kế hoạch A/B test nên có những gì?
Một giả thuyết kèm lý do, một chỉ số chính với định nghĩa chính xác, các chỉ số bảo vệ, đối tượng và cách chia, tỷ lệ cơ sở, hiệu ứng tối thiểu có thể phát hiện, cỡ mẫu, thời lượng, và các quy tắc dừng, hủy và ra quyết định. Thêm một phần kết quả để kế hoạch trở thành hồ sơ của bài test.
Kế hoạch thử nghiệm và bản tóm tắt thử nghiệm khác nhau như thế nào?
Hai thuật ngữ được dùng thay thế cho nhau. Một số đội dùng "brief" cho yêu cầu thiết kế và nội dung gửi cho designer, và "kế hoạch" cho phần thiết lập thống kê. Mẫu này bao gồm cả hai, với thay đổi sáng tạo được mô tả trong phần giả thuyết.
Một A/B test B2B nên chạy trong bao lâu?
Cho đến khi đạt cỡ mẫu bạn đã tính, và ít nhất trọn một tuần. Nhiều trang B2B cần từ bốn đến mười hai tuần. Nếu phép tính cho ra thời gian dài hơn một quý, hãy thay đổi test thay vì dừng sớm.
Tôi có nên viết kế hoạch cho mọi test nhỏ không?
Có, dù với một bài kiểm thử nội dung nút, kế hoạch chỉ cần năm dòng. Quy tắc dừng và chỉ số chính là hai phần không bao giờ được bỏ qua, vì chúng giúp bạn không coi một dao động ngẫu nhiên là chiến thắng.