A/B testing và multivariate testing (và A/B/n) cho B2B

Khác biệt giữa A/B testing và thử nghiệm đa biến nằm ở đối tượng so sánh. A/B test so sánh hai phiên bản của một trang. A/B/n test so sánh ba phiên bản hoàn chỉnh trở lên. Thử nghiệm đa biến (MVT) thay đổi nhiều phần tử cùng lúc, như tiêu đề, ảnh hero và CTA, và kiểm tra mọi tổ hợp (đôi khi gọi là multivariate A/B testing) để biết phần tử nào và tổ hợp nào thúc đẩy chuyển đổi.

Trên website B2B, lưu lượng thường quyết định thay bạn. Mỗi biến thể hoặc tổ hợp thêm vào lại chia nhỏ khách truy cập hơn nữa, và cỡ mẫu cần thiết tăng nhanh hơn trực giác. Dưới đây là bốn loại kiểm thử mà các đội B2B thực sự chạy (A/B, A/B/n, multivariate và kiểm thử cá nhân hóa nhắm theo phân khúc), mỗi loại tốn bao nhiêu lưu lượng qua một ví dụ tính toán, một bảng ra quyết định, và ví dụ về các bài kiểm thử phù hợp với từng loại.

Tổng quan bốn loại thử nghiệm

Phép tính traffic đằng sau A/B testing và thử nghiệm đa biến

Mọi con số dưới đây dùng công thức cỡ mẫu hai tỷ lệ tiêu chuẩn (phương sai gộp) ở độ tin cậy 95%, hai phía, và power 80%, được tính bằng Node.js. Phương pháp và bảng đầy đủ có trong bài viết về cỡ mẫu A/B test của chúng tôi. Bạn có thể tính cùng các con số cho trang của mình bằng công cụ tính cỡ mẫu A/B test, công cụ áp dụng hiệu chỉnh Bonferroni cho các bài test A/B/n.

Ví dụ (số liệu minh họa): một trang demo có tỷ lệ chuyển đổi 3%, và bạn muốn phát hiện mức tăng tương đối 20% (từ 3,0% lên 3,6%). Một A/B test đơn giản cần 13.914 khách truy cập mỗi biến thể, tức tổng cộng 27.828.

A/B/n: nhiều nhánh hơn, ngưỡng nghiêm ngặt hơn

Với ba phiên bản thách thức so với một nhóm đối chứng, bạn thực hiện ba phép so sánh, và khả năng có ít nhất một người thắng giả tăng lên. Cách hiệu chỉnh đơn giản nhất (Bonferroni) chia alpha cho số phép so sánh, nên mỗi phép so sánh được kiểm định ở mức 0,05 / 3 = 0,0167. Điều đó làm tăng cỡ mẫu mỗi nhánh từ 13.914 lên 18.559, và tổng từ 27.828 lên 74.236 trên bốn nhánh, tức khoảng 2,7 lần traffic so với A/B test.

Thử nghiệm đa biến: số tổ hợp nhân lên

Bây giờ hãy thử nghiệm ba phần tử, mỗi phần tử hai phiên bản (tiêu đề A hoặc B, hình ảnh A hoặc B, CTA A hoặc B). Thiết kế giai thừa đầy đủ có 2 × 2 × 2 = 8 ô. Nếu bạn muốn so sánh từng tổ hợp với nhóm đối chứng, như hầu hết báo cáo MVT ngầm làm, mỗi ô cần một mẫu đầy đủ: 8 × 13.914 = 111.312 khách truy cập nếu không hiệu chỉnh, hoặc 8 × 22.112 = 176.896 khách truy cập với hiệu chỉnh Bonferroni cho bảy phép so sánh.

Đó là trường hợp xấu nhất. Thiết kế giai thừa (factorial) thực ra rất hiệu quả cho hiệu ứng chính. Để ước lượng hiệu ứng của tiêu đề, bạn so sánh bốn ô có tiêu đề A với bốn ô có tiêu đề B, tức là dùng toàn bộ lưu lượng. Nếu các phần tử không tương tác với nhau, 27.828 khách truy cập cho bạn biết về cả ba phần tử cùng lúc. Khi đó bạn thực chất đã chạy ba A/B test song song. Hữu ích, nhưng đó không phải lý do hầu hết các đội chọn MVT.

Các đội thường chạy MVT để tìm tương tác (“tiêu đề này chỉ hiệu quả với hình ảnh kia”) và tổ hợp tốt nhất. Tương tác rất tốn kém. Ghi chú được trích dẫn rộng rãi của Andrew Gelman, You need 16 times the sample size to estimate an interaction than to estimate a main effect, giải thích lý do: ước lượng tương tác có sai số chuẩn gấp đôi hiệu ứng chính, và nếu tương tác chỉ bằng một nửa hiệu ứng chính (giả định ông nêu ra), bạn cần cỡ mẫu gấp 16 lần để có cùng power. Áp dụng vào ví dụ của chúng tôi, con số là khoảng 445.000 khách truy cập.

Quy ra số tháng là bao nhiêu

Trên một trang có 20.000 khách truy cập mỗi tháng, một MVT 2×2×2 đọc từng tổ hợp sẽ mất gần một năm khi có hiệu chỉnh. Với 5.000 thì mất nhiều năm. Quan điểm của chúng tôi: multivariate testing hiếm khi khả thi trên website B2B, và một tuyên bố như “chúng tôi chạy MVT và tổ hợp 6 thắng” với vài nghìn khách truy cập mỗi tháng cần được soi kỹ cỡ mẫu trước khi ai đó hành động.

Điều phần lớn các đội làm sai

Sai lầm thường gặp là chọn loại thử nghiệm theo tham vọng thay vì theo câu hỏi cần trả lời. Các đội chọn MVT vì có nhiều ý tưởng, chứ không phải vì cần biết các ý tưởng có tương tác với nhau không. Họ chọn A/B/n với năm biến thể vì không ai thống nhất được một phương án. Cả hai lựa chọn đều chia lưu lượng vốn có hạn thành những phần quá mỏng để rút ra kết luận.

Điều thứ hai là thử nghiệm các thành phần khi câu hỏi thực sự là về đối tượng. Trên website B2B, điều gì chuyển đổi thường phụ thuộc vào ai đang xem nhiều hơn là tiêu đề nào được hiển thị. Một người mua ngành sản xuất và một nhà sáng lập SaaS muốn những bằng chứng khác nhau. Thử nghiệm tiêu đề A và B cho tất cả mọi người sẽ lấy trung bình các nhóm đối tượng đó và có thể che giấu một biến thể thắng lớn ở phân khúc này nhưng thua ở phân khúc khác. Đó là lý do nên thử nghiệm cá nhân hóa nhắm theo phân khúc.

Bảng quyết định: nên chạy thử nghiệm nào

Các ngưỡng lưu lượng chỉ là tham khảo sơ bộ cho tỷ lệ cơ sở 3%. Hãy tự tính bằng công thức cỡ mẫu trước khi quyết định.

Ví dụ về test tốt cho từng loại

A/B test

• Biểu mẫu demo so với đặt lịch ngay trên trang demo.
• Hero tập trung vào tính năng so với hero tập trung vào kết quả trên trang chủ.
• Trang bảng giá có gói “liên hệ sales” so với công khai giá cho mọi gói.

Gộp nhiều thành phần vào một ý tưởng là hoàn toàn ổn trong A/B test. Bạn biết được ý tưởng có thắng hay không, không phải thành phần nào tạo nên chiến thắng, và đó thường là quyết định bạn thực sự cần đưa ra. Hướng dẫn tối ưu tỷ lệ chuyển đổi B2B của chúng tôi trình bày cách ưu tiên những ý tưởng này.

A/B/n test

• Ba tuyên bố giá trị trên một landing page trả phí nhiều lưu lượng: tốc độ, tiết kiệm chi phí, giảm rủi ro.
• Ba ưu đãi CTA: demo, đánh giá ROI, product tour. Xem hướng dẫn về CTA cá nhân hóa dựa trên dữ liệu của chúng tôi để biết loại ưu đãi thay đổi theo giai đoạn như thế nào.

Giữ A/B/n test ở ba nhánh (đối chứng cộng hai) trừ khi lưu lượng cao bất thường, và làm cho mỗi nhánh khác biệt rõ rệt để hiệu ứng đủ lớn mà phân biệt được.

Kiểm thử multivariate

• Tiêu đề (2 phiên bản) × loại bằng chứng xã hội (logo hay trích dẫn case study) trên một trang chủ có lưu lượng rất lớn, khi bạn có lý do cụ thể để tin rằng hai yếu tố này tương tác với nhau.

Nếu bạn không nêu được tương tác mình kỳ vọng, có lẽ bạn không cần thử nghiệm đa biến.

Thử nghiệm cá nhân hóa nhắm theo phân khúc

• Hero trang chủ riêng theo ngành cho khách từ các công ty dịch vụ tài chính so với hero mặc định.
• Bằng chứng tập trung vào enterprise (bảo mật, quy mô) trên trang bảng giá cho các công ty trên 1.000 nhân viên so với trang tiêu chuẩn.
• Lời chào tài khoản mục tiêu và case study cho tài khoản ABM so với trang chung.

Cách thử nghiệm cá nhân hóa với nhóm holdout

Một bài test cá nhân hóa là A/B test chỉ chạy trong một phân khúc. Nhóm kiểm soát là một nhóm đối chứng thuộc phân khúc đó và xem trang mặc định. Không có nhóm đối chứng, bạn không thể tách tác động của cá nhân hóa khỏi việc phân khúc đó vốn có thể chuyển đổi khác biệt.

1. Định nghĩa phân khúc thật chính xác, ví dụ “khách truy cập được nhận diện là công ty dịch vụ tài chính có từ 200 nhân viên trở lên”. Chỉ những khách truy cập đó tham gia bài test.
2. Đo traffic của phân khúc đến các trang được thử nghiệm mỗi tháng. Con số này, không phải tổng traffic website, quyết định thời gian thử nghiệm.
3. Chọn quy mô holdout. Chia 50/50 cho kết quả nhanh nhất. Holdout nhỏ hơn giúp ít khách truy cập phải xem trải nghiệm mặc định hơn nhưng tốn thời gian hơn.
4. Chọn một chuyển đổi mà phân khúc thực sự thực hiện, đo trong lượt truy cập hoặc trên các lượt truy cập của tài khoản, và giữ pipeline làm chỉ số bảo vệ.
5. Cố định cỡ mẫu và thời gian trước khi ra mắt, và chỉ đọc kết quả cho phân khúc đó.

Ví dụ (số liệu minh họa): một phân khúc mang về 3.000 khách truy cập mỗi tháng, chuyển đổi ở mức 3%, và bạn muốn phát hiện mức tăng tương đối 30%. Tính bằng phiên bản công thức phân bổ không đều (không gộp), cùng độ tin cậy 95% và độ mạnh 80%:

Nhóm giữ lại 10% mất khoảng 2,5 lần thời gian để đọc kết quả so với chia 50/50. Khuyến nghị của chúng tôi: chạy test đầu tiên cho mỗi phân khúc theo tỷ lệ 50/50 để có câu trả lời rõ ràng, sau đó giữ một nhóm giữ lại nhỏ cố định (10 đến 20%) sau khi triển khai để theo dõi hiệu ứng có duy trì theo thời gian hay không. Lộ trình test cá nhân hóa chỉ cách sắp xếp thứ tự các test này giữa các phân khúc. Hãy bắt đầu với phân khúc có nhiều lưu lượng nhất và khoảng trống thông điệp rõ nhất, vì nó cho kết quả nhanh nhất. Bỏ hẳn test phân khúc ở những nơi phân khúc chỉ mang lại vài trăm khách truy cập mỗi tháng; với lượng đó, ngay cả chia 50/50 cũng không cho câu trả lời đọc được trong vòng một năm.

Chạy các thử nghiệm đối chứng này đòi hỏi nhận diện phân khúc trước khi trang render và chỉ chia tách phân khúc đó. A/B testing của Markettailor làm điều này theo từng phân khúc, dùng phân khúc cấp công ty để quyết định ai tham gia mỗi thử nghiệm, nên một thử nghiệm fintech chỉ gặp khách truy cập fintech.

Câu hỏi thường gặp

A/B testing và thử nghiệm đa biến khác nhau thế nào?

A/B testing so sánh hai phiên bản hoàn chỉnh của một trang. Thử nghiệm đa biến thay đổi nhiều thành phần cùng lúc và thử mọi tổ hợp, nên có thể cho thấy thành phần nào quan trọng và chúng có tương tác với nhau không, với cái giá là cần nhiều traffic hơn rất nhiều.

A/B/n testing là gì?

A/B/n testing so sánh một nhóm đối chứng với hai hoặc nhiều biến thể hoàn chỉnh cùng lúc. Cách này hữu ích khi bạn có vài hướng tiếp cận thực sự khác nhau, nhưng mỗi nhánh thêm vào cần cỡ mẫu riêng và ngưỡng ý nghĩa nghiêm ngặt hơn.

Thử nghiệm đa biến cần bao nhiêu traffic?

Với thử nghiệm 2×2×2 trên trang chuyển đổi 3%, đọc từng tổ hợp trong 8 tổ hợp so với đối chứng cho mức tăng 20% cần khoảng 111.000 đến 177.000 khách truy cập, tùy phương pháp hiệu chỉnh cho so sánh bội. Phát hiện tương tác giữa các yếu tố có thể cần nhiều gấp mấy lần.

Test đa biến có đáng làm cho website B2B không?

Hiếm khi. Hầu hết các trang B2B không đủ traffic để đọc được kết quả của các tổ hợp hay tương tác trong vòng vài tháng. A/B test cho các ý tưởng lớn hơn và thử nghiệm cá nhân hóa nhắm theo phân khúc thường cho câu trả lời rõ ràng hơn, nhanh hơn.

Có thể kết hợp A/B testing và multivariate testing không?

Có. Một trình tự phổ biến là A/B test các ý tưởng trước, sau đó, chỉ trên những trang có traffic rất cao, chạy một thử nghiệm giai thừa nhỏ trên hai thành phần trong ý tưởng thắng nếu bạn có một tương tác cụ thể cần kiểm tra.