A/B testing là một thử nghiệm có đối chứng ngẫu nhiên, trong đó khách truy cập được chia ngẫu nhiên giữa hai phiên bản của một trang, email hoặc tính năng, gồm bản kiểm soát (A) và biến thể (B), và một chỉ số được xác định trước sẽ được so sánh để xem chênh lệch giữa chúng có lớn hơn mức ngẫu nhiên có thể giải thích hay không. Đây là cách tiêu chuẩn để biết một thay đổi thực sự gây ra cải thiện hay chỉ tình cờ trùng thời điểm.
Phương pháp này đã được khẳng định trong các sản phẩm trực tuyến; hướng dẫn thực hành của Kohavi và cộng sự vẫn là tài liệu tham khảo chuẩn (Kohavi et al., "Controlled experiments on the web", Data Mining and Knowledge Discovery, 2009).
Cách A/B testing hoạt động
- Giả thuyết và chỉ số. Nêu rõ thay đổi, tác động dự kiến và một chỉ số chính, chẳng hạn tỷ lệ yêu cầu demo.
- Ngẫu nhiên hóa. Mỗi khách truy cập được gán ngẫu nhiên vào A hoặc B và giữ nguyên ở các lần quay lại, để các nhóm chỉ khác nhau ở thay đổi được thử nghiệm.
- Cỡ mẫu. Quyết định trước mỗi phiên bản cần bao nhiêu khách truy cập, dựa trên tỷ lệ cơ sở, mức tăng nhỏ nhất đáng phát hiện (minimum detectable effect), mức ý nghĩa và độ mạnh thống kê.
- Chạy. Để thử nghiệm đạt đủ cỡ mẫu đó, lý tưởng là trọn các tuần. Đừng dừng sớm chỉ vì một bên trông có vẻ đang dẫn.
- Phân tích. So sánh các tỷ lệ. Một kết quả có ý nghĩa thống kê ở mức 5% khi, nếu thực sự không có khác biệt, một chênh lệch lớn như vậy sẽ xuất hiện dưới 5% số lần.
Có hai thiết lập quan trọng. Mức ý nghĩa (thường là 5%, hay gọi là độ tin cậy 95%) kiểm soát dương tính giả. Độ mạnh (thường là 80%) là khả năng phát hiện hiệu ứng nếu nó có thật; một thử nghiệm thiếu độ mạnh phần lớn cho ra "không có kết quả".
Ví dụ
Ví dụ: một trang demo chuyển đổi ở mức 3%. Bạn muốn phát hiện mức tăng tương đối 20% (từ 3,0% lên 3,6%) với kiểm định hai phía ở mức ý nghĩa 5% và lực thống kê 80%. Công thức hai tỷ lệ tiêu chuẩn là:
n mỗi biến thể = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- Số hạng thứ nhất: 1,96 x √(2 x 0,033 x 0,967) = 1,96 x 0,2526 = 0,495
- Số hạng thứ hai: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Tử số: (0,495 + 0,213)² = 0,501; mẫu số: 0,006² = 0,000036
- n ≈ 13.900 khách truy cập mỗi biến thể, tổng cộng khoảng 27.800
Với 2.000 khách truy cập mỗi tuần vào trang đó, test cần khoảng 14 tuần. Đó chính là kết quả hữu ích: trước khi xây bất cứ thứ gì, bạn đã biết trang này không thể hỗ trợ một test cho mức tăng 20% trong thời gian hợp lý, nên bạn sẽ test một thay đổi táo bạo hơn, dùng trang có lưu lượng cao hơn, hoặc triển khai rồi theo dõi. Bạn có thể tính lại con số này bằng công cụ tính A/B test của chúng tôi hoặc công cụ tính cỡ mẫu của Evan Miller.
A/B, A/B/n và multivariate testing
| A/B | A/B/n | Đa biến (MVT) | |
|---|---|---|---|
| Điều thay đổi | Một nhóm đối chứng so với một phiên bản | Một nhóm đối chứng so với nhiều biến thể | Nhiều thành phần cùng lúc, mọi tổ hợp |
| Traffic cần thiết | Thấp nhất | Tăng theo mỗi biến thể | Cao nhất: lưu lượng bị chia cho mọi tổ hợp |
| Trả lời | B có tốt hơn A không? | Phiên bản nào tốt nhất trong nhiều phiên bản? | Tổ hợp thành phần nào hiệu quả, và chúng có tương tác với nhau không? |
| Phù hợp | Phần lớn trang B2B | Tiêu đề hoặc ưu đãi có traffic thực tế | Chỉ trang có traffic cao |
Nielsen Norman Group tóm tắt sự đánh đổi: multivariate test phù hợp với tinh chỉnh từng bước trên các trang lưu lượng cao, còn A/B test có thể so sánh các thiết kế khác biệt hoàn toàn (NN/g, "Multivariate vs. A/B Testing").
Cách các đội B2B sử dụng A/B testing
- Test độ dài và câu chữ của biểu mẫu demo và liên hệ.
- So sánh tuyên bố giá trị và tiêu đề trên các landing page có traffic cao.
- Kiểm chứng cá nhân hóa: nội dung riêng cho phân khúc so với trang chung, có nhóm giữ lại.
- Bố cục trang bảng giá và cách trình bày gói.
- Tiêu đề email và nội dung nuôi dưỡng, khi khối lượng cho phép.
Câu hỏi thường gặp
Một bài A/B test nên chạy trong bao lâu?
Cho đến khi đạt cỡ mẫu đã tính trước khi ra mắt, và ít nhất một tuần đầy đủ, tốt nhất là hai tuần, để mọi ngày trong tuần đều được đại diện. Chia số khách truy cập cần thiết mỗi biến thể cho lưu lượng hằng tuần của mỗi biến thể để ước tính thời gian. Nếu kết quả là vài tháng, thử nghiệm không khả thi với thiết kế hiện tại.
Hiệu ứng tối thiểu phát hiện được bao nhiêu là tốt?
Mức tăng nhỏ nhất đáng để hành động, xét theo chi phí của thay đổi. Các trang B2B ít lưu lượng thường cần hiệu ứng tối thiểu phát hiện được lớn hơn, thường từ 20% tương đối trở lên, để hoàn thành trong thời gian hợp lý. Các hiệu ứng nhỏ hơn có thể có thật nhưng cần nhiều lưu lượng hơn hẳn, vì cỡ mẫu tăng xấp xỉ theo nghịch đảo bình phương của hiệu ứng.
Có thể A/B test khi lưu lượng thấp không?
Có, nhưng hãy kiểm thử những thay đổi lớn hơn, dùng bước có lưu lượng cao nhất trong phễu, và chọn chỉ số xảy ra thường xuyên, như lượt nhấp đến trang demo thay vì giao dịch đã chốt. Khi ngay cả cách đó vẫn quá chậm, hãy thực hiện thay đổi dựa trên nghiên cứu và theo dõi trước-sau, chấp nhận rằng bằng chứng yếu hơn.
Liên quan
Lên kế hoạch thử nghiệm với mẫu kế hoạch A/B test, đọc hướng dẫn chi tiết về cỡ mẫu A/B test, và chọn thiết kế thử nghiệm với A/B testing so với thử nghiệm đa biến. Về quy trình tổng thể, xem tối ưu hóa tỷ lệ chuyển đổi.