Cách công cụ tính hoạt động
Tab cỡ mẫu dùng công thức tiêu chuẩn để so sánh hai tỷ lệ chuyển đổi bằng kiểm định z hai tỷ lệ, hai phía:
n mỗi biến thể = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 là tỷ lệ chuyển đổi cơ sở cho đúng trang và mục tiêu bạn đang thử nghiệm.
- p2 là mức cơ sở nhân với (1 + hiệu ứng tối thiểu có thể phát hiện).
- p̄ là trung bình của p1 và p2.
- zα/2 là 1,96 ở độ tin cậy 95%, và zβ là 0,84 ở độ mạnh 80%.
Khi có nhiều hơn một phiên bản, công cụ tính chia alpha cho số phép so sánh với nhóm đối chứng (hiệu chỉnh Bonferroni), giữ tỷ lệ dương tính giả tổng thể ở mức tin cậy bạn đã chọn. Hướng dẫn cỡ mẫu A/B testing của chúng tôi đi qua công thức từng bước kèm các bảng cho những tỷ lệ chuyển đổi B2B phổ biến.
Ví dụ thực hành
Số liệu minh họa: một trang yêu cầu demo chuyển đổi 3% và có 2.000 khách truy cập mỗi tuần. Bạn muốn biết tiêu đề mới có tăng chuyển đổi ít nhất 20% không, nên p2 là 3,6%. Máy tính trả về khoảng 13.900 khách truy cập mỗi biến thể, tổng cộng 27.800, tương đương 14 tuần lưu lượng. Đó là câu trả lời trung thực cho nhiều trang B2B, và là lý do công cụ cảnh báo mọi thử nghiệm dài hơn một quý.
Ba cách rút ngắn thời lượng: thử nghiệm thay đổi táo bạo hơn và nâng mức tác động tối thiểu có thể phát hiện lên từ 30% trở lên, đo một sự kiện thường xuyên hơn như lượt nhấp đến trang demo, hoặc chạy thử nghiệm trên trang có lưu lượng cao hơn. Nếu bạn đang cân nhắc giữa A/B test và thử nghiệm nhiều thành phần cùng lúc, hãy đọc A/B testing và thử nghiệm đa biến trước, vì thử nghiệm đa biến cần nhiều lưu lượng hơn hẳn.
Đọc kết quả về ý nghĩa thống kê
Tab ý nghĩa thống kê so sánh hai nhánh đã chạy xong. Giả sử nhóm đối chứng có 5.000 khách truy cập và 150 chuyển đổi (3,0%), còn biến thể có 5.000 khách truy cập và 190 chuyển đổi (3,8%). Mức tăng tương đối là 26,7%, p-value khoảng 0,027 và khoảng tin cậy 95% của chênh lệch nằm trong khoảng 0,1 đến 1,5 điểm phần trăm. Kết quả có ý nghĩa thống kê, nhưng khoảng tin cậy rộng: mức tăng thực có thể nhỏ. Hãy xem mức tăng đo được là một ước tính nghiêng về phía cao, đặc biệt khi test bị dừng sớm.
Để biết nên thử nghiệm gì trước trên một website B2B ít traffic, hãy xem phần thử nghiệm trong hướng dẫn tối ưu tỷ lệ chuyển đổi của chúng tôi. Nếu bạn thử nghiệm các trải nghiệm cá nhân hóa thay vì thay đổi đơn lẻ trên trang, tính năng A/B testing của Markettailor chạy nhóm đối chứng theo từng phân khúc khách truy cập.
Câu hỏi thường gặp
Cần bao nhiêu khách truy cập cho một A/B test?
Điều đó phụ thuộc vào tỷ lệ chuyển đổi cơ sở và mức tăng nhỏ nhất bạn muốn phát hiện. Với tỷ lệ cơ sở 3%, để phát hiện mức tăng tương đối 20% với độ tin cậy 95% và lực thống kê 80% cần khoảng 13.900 khách truy cập mỗi biến thể. Giảm một nửa mức tăng muốn phát hiện thì cỡ mẫu tăng khoảng gấp bốn.
Ý nghĩa thống kê của A/B test được tính như thế nào?
Công cụ tính này dùng kiểm định z hai tỷ lệ hai phía. Nó gộp cả hai nhánh để ước lượng mức nhiễu bạn sẽ thấy nếu không có khác biệt thật, chia chênh lệch tỷ lệ chuyển đổi quan sát được cho sai số chuẩn đó, và chuyển điểm z thu được thành giá trị p. Giá trị p dưới 0,05 có ý nghĩa ở độ tin cậy 95%.
Một bài A/B test nên chạy trong bao lâu?
Cho đến khi đạt cỡ mẫu đã tính trước khi ra mắt, và ít nhất một tuần đầy đủ để bao gồm cả hành vi ngày thường và cuối tuần. Ước tính thời gian ở trên chia tổng cỡ mẫu cho lưu lượng hằng tuần đến trang được thử nghiệm.
Có thể dừng A/B test ngay khi đạt mức ý nghĩa không?
Không. Kiểm tra kết quả liên tục và dừng ở lần đầu tiên đạt ý nghĩa thống kê sẽ đẩy tỷ lệ dương tính giả lên cao hơn nhiều so với 5%. Hãy xác định cỡ mẫu từ đầu và đọc kết quả khi đã đạt, hoặc dùng phương pháp được thiết kế cho theo dõi liên tục như test tuần tự.
Nếu website B2B của tôi không đủ traffic để chạy A/B test thì sao?
Hãy thử nghiệm những thay đổi lớn hơn, chọn sự kiện chuyển đổi xảy ra thường xuyên hơn (như lượt nhấp đến trang demo thay vì demo đã đặt), thử nghiệm trên mẫu trang có lưu lượng cao nhất, hoặc chấp nhận thử nghiệm dài hơn. Nếu một thử nghiệm cần hơn một quý, hãy dùng nghiên cứu định tính và so sánh với nhóm holdout.