Perbedaan A/B testing dan multivariate testing terletak pada apa yang dibandingkan masing-masing. A/B test membandingkan dua versi halaman. A/B/n test membandingkan tiga versi lengkap atau lebih. Multivariate test (MVT) mengubah beberapa elemen sekaligus, seperti headline, gambar hero, dan CTA, lalu menguji setiap kombinasinya (kadang disebut multivariate A/B testing) untuk mengetahui elemen mana dan kombinasi mana yang mendorong konversi.
Di situs web B2B, traffic biasanya yang menentukan pilihan untuk Anda. Setiap varian atau kombinasi tambahan membagi pengunjung Anda lebih jauh, dan sampel yang dibutuhkan bertambah lebih cepat dari yang diduga. Di bawah ini ada empat jenis pengujian yang benar-benar dijalankan tim B2B (A/B, A/B/n, multivariat, dan pengujian personalisasi yang ditargetkan per segmen), berapa biaya traffic masing-masing untuk satu contoh perhitungan, tabel keputusan, dan contoh pengujian yang cocok untuk setiap jenis.
Sekilas tentang Empat Jenis Pengujian
| Jenis pengujian | Apa yang dibandingkan | Pertanyaan yang dijawab | Biaya traffic |
|---|---|---|---|
| A/B | Kontrol vs satu varian | Apakah versi ini lebih baik daripada yang kita punya? | Terendah |
| A/B/n | Kontrol vs 2+ varian lengkap | Manakah dari pendekatan berbeda ini yang terbaik? | Bertambah dengan setiap kelompok, plus penalti untuk perbandingan berganda |
| Multivariat (MVT) | Setiap kombinasi dari beberapa elemen | Elemen mana yang berpengaruh, dan apakah elemen-elemen itu saling berinteraksi? | Tertinggi, terutama untuk interaksi |
| Pengujian bertarget segmen (personalisasi) | Pengalaman yang dipersonalisasi vs holdout, dalam satu segmen | Apakah menyesuaikan halaman ini untuk segmen ini berhasil? | Tergantung traffic segmen dan ukuran holdout |
Hitungan Trafik di Balik A/B Testing vs Multivariate Testing
Semua angka di bawah ini menggunakan rumus ukuran sampel standar untuk dua proporsi (pooled variance) dengan tingkat keyakinan 95%, dua sisi, dan power 80%, dihitung di Node.js. Metode dan tabel lengkapnya ada di artikel kami tentang ukuran sampel A/B test. Anda bisa menghitung angka yang sama untuk halaman Anda sendiri dengan kalkulator ukuran sampel A/B test kami, yang menerapkan koreksi Bonferroni untuk pengujian A/B/n.
Contoh (angka ilustratif): halaman demo berkonversi 3%, dan Anda ingin mendeteksi kenaikan relatif 20% (dari 3,0% menjadi 3,6%). A/B test sederhana membutuhkan 13.914 pengunjung per varian, atau total 27.828.
A/B/n: lebih banyak kelompok, ambang yang lebih ketat
Dengan tiga penantang melawan satu kontrol, Anda melakukan tiga perbandingan, dan peluang munculnya setidaknya satu pemenang palsu meningkat. Koreksi paling sederhana (Bonferroni) membagi alpha dengan jumlah perbandingan, sehingga setiap perbandingan diuji pada 0,05 / 3 = 0,0167. Hal itu menaikkan sampel per varian dari 13.914 menjadi 18.559, dan totalnya dari 27.828 menjadi 74.236 untuk empat varian, kira-kira 2,7 kali traffic A/B test.
Multivariat: kombinasi berlipat ganda
Sekarang uji tiga elemen dengan masing-masing dua versi (headline A atau B, gambar A atau B, CTA A atau B). Desain faktorial penuh memiliki 2 × 2 × 2 = 8 sel. Jika Anda ingin membandingkan setiap kombinasi dengan kontrol, seperti yang secara implisit dilakukan sebagian besar laporan MVT, setiap sel membutuhkan sampel penuh: 8 × 13.914 = 111.312 pengunjung tanpa koreksi apa pun, atau 8 × 22.112 = 176.896 pengunjung dengan koreksi Bonferroni untuk tujuh perbandingan.
Itu skenario terburuk. Desain faktorial sebenarnya efisien untuk efek utama. Untuk mengestimasi efek headline, Anda membandingkan empat sel dengan headline A terhadap empat sel dengan headline B, yang menggunakan seluruh trafik Anda. Jika elemen-elemennya tidak berinteraksi, 27.828 pengunjung memberi tahu Anda tentang ketiga elemen sekaligus. Dalam kasus itu, Anda pada dasarnya menjalankan tiga A/B test secara paralel. Berguna, tetapi itu bukan alasan sebagian besar tim memilih MVT.
Tim biasanya menjalankan MVT untuk menemukan interaksi ("headline ini hanya berhasil dengan gambar itu") dan satu kombinasi terbaik. Interaksi itu mahal. Catatan Andrew Gelman yang banyak dikutip, You need 16 times the sample size to estimate an interaction than to estimate a main effect, menunjukkan alasannya: estimasi interaksi memiliki standard error dua kali lipat dari efek utama, dan jika interaksinya setengah ukuran efek utama (asumsi yang ia nyatakan), Anda membutuhkan sampel 16 kali lipat untuk power yang sama. Jika diterapkan pada contoh kita, itu sekitar 445.000 pengunjung.
Artinya dalam hitungan bulan
| Desain (baseline 3%, MDE 20%) | Total pengunjung | Bulan pada 5.000/bulan | Bulan pada 20.000/bulan |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| A/B/n dengan 4 varian (Bonferroni) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, setiap sel vs kontrol (tanpa koreksi) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, setiap sel vs kontrol (Bonferroni) | 176,896 | 35.4 | 8.8 |
| Interaksi MVT, setengah ukuran (aturan 16x) | 445,248 | 89.0 | 22.3 |
Pada halaman dengan 20.000 pengunjung bulanan, MVT 2×2×2 yang membaca setiap kombinasi memakan waktu hampir setahun dengan koreksi. Pada 5.000 pengunjung, butuh bertahun-tahun. Pandangan kami: pengujian multivariat jarang praktis di situs web B2B, dan klaim seperti "kami menjalankan MVT dan kombinasi 6 menang" dengan beberapa ribu pengunjung per bulan layak diperiksa ketat sampelnya sebelum ada yang menindaklanjutinya.
Kesalahan yang Sering Dibuat Tim
Kesalahan yang umum adalah memilih jenis tes berdasarkan ambisi, bukan berdasarkan pertanyaan. Tim memilih MVT karena punya banyak ide, bukan karena perlu tahu apakah ide-ide itu saling berinteraksi. Mereka memilih A/B/n dengan lima varian karena tidak ada yang bisa sepakat pada satu varian. Kedua pilihan tersebut membagi traffic yang terbatas menjadi irisan yang terlalu tipis untuk dibaca.
Yang kedua adalah menguji elemen padahal pertanyaan sebenarnya adalah tentang audiens. Di situs B2B, apa yang menghasilkan konversi sering kali lebih bergantung pada siapa yang melihat daripada headline mana yang ditampilkan. Pembeli dari manufaktur dan pendiri SaaS menginginkan poin bukti yang berbeda. Menguji headline A vs B untuk semua orang merata-ratakan audiens tersebut dan bisa menyembunyikan varian yang menang telak untuk satu segmen dan kalah untuk segmen lain. Itulah alasan untuk pengujian personalisasi yang ditargetkan per segmen.
Tabel Keputusan: Tes Mana yang Dijalankan
| Situasi | Pengunjung bulanan ke halaman | Elemen yang diubah | Tes yang direkomendasikan |
|---|---|---|---|
| Satu hipotesis yang jelas, perubahan besar | Berapa pun, termasuk di bawah 5.000 | Satu konsep (bisa menyentuh beberapa elemen) | A/B |
| Dua atau tiga pendekatan yang benar-benar berbeda | 15,000+ | Konsep seluruh halaman | A/B/n dengan maksimal 3 varian |
| Perlu tahu apakah elemen-elemen saling berinteraksi | 100,000+ | 2 hingga 3 elemen, masing-masing 2 versi | Multivariat (full factorial) |
| Audiens yang berbeda kemungkinan menginginkan hal yang berbeda | Traffic yang cukup dalam segmen | Konten yang disesuaikan dengan segmen | Pengujian bertarget segmen vs holdout |
| Traffic tidak cukup untuk semua opsi di atas | Di bawah 2.000 | Apa saja | Riset kualitatif, lalu A/B test pada perubahan yang lebih besar |
Ambang traffic ini hanyalah panduan kasar untuk baseline 3%. Hitung angka Anda sendiri dengan rumus ukuran sampel sebelum berkomitmen.
Contoh Tes yang Baik untuk Setiap Jenis
A/B test
- Formulir demo vs pemesanan kalender instan di halaman demo.
- Hero berbasis fitur vs hero berbasis hasil di homepage.
- Halaman harga dengan tier “bicara dengan sales” vs harga yang dipublikasikan untuk setiap tier.
Menggabungkan beberapa elemen menjadi satu konsep tidak masalah dalam A/B test. Anda mengetahui apakah konsepnya menang, bukan elemen mana yang menyebabkannya, dan biasanya itulah keputusan yang sebenarnya perlu Anda ambil. Panduan optimasi tingkat konversi B2B kami membahas cara memprioritaskan ide-ide ini.
Tes A/B/n
- Tiga proposisi nilai pada landing page berbayar bertrafik tinggi: kecepatan, penghematan biaya, pengurangan risiko.
- Tiga penawaran CTA: demo, asesmen ROI, tur produk. Lihat panduan kami tentang CTA yang dipersonalisasi berbasis data untuk mengetahui bagaimana jenis penawaran berubah per tahap.
Batasi A/B/n test pada tiga kelompok (kontrol plus dua) kecuali traffic-nya sangat tinggi, dan buat setiap kelompok benar-benar berbeda agar efeknya cukup besar untuk dipisahkan.
Pengujian multivariat
- Headline (2 versi) × jenis social proof (logo vs kutipan studi kasus) di beranda dengan traffic sangat tinggi, jika Anda punya alasan spesifik untuk memperkirakan keduanya saling berinteraksi.
Jika Anda tidak bisa menyebutkan interaksi yang Anda harapkan, kemungkinan besar Anda tidak butuh MVT.
Tes personalisasi yang ditargetkan per segmen
- Hero beranda khusus industri untuk pengunjung dari perusahaan layanan keuangan vs hero default.
- Bukti yang berfokus pada enterprise (keamanan, skala) di halaman harga untuk perusahaan dengan lebih dari 1.000 karyawan vs halaman standar.
- Sapaan akun target dan studi kasus untuk akun ABM vs halaman generik.
Cara Menguji Personalisasi terhadap Holdout
Pengujian personalisasi adalah A/B test yang dijalankan hanya di dalam satu segmen. Kontrolnya adalah holdout group dari segmen tersebut yang melihat halaman default. Tanpa holdout, Anda tidak bisa memisahkan efek personalisasi dari kenyataan bahwa segmen itu mungkin memang berkonversi secara berbeda.
- Definisikan segmen secara tepat, misalnya “pengunjung yang teridentifikasi sebagai perusahaan di layanan keuangan dengan 200+ karyawan.” Hanya pengunjung tersebut yang masuk ke pengujian.
- Ukur traffic segmen ke halaman yang diuji per bulan. Inilah, bukan total traffic situs, yang menentukan durasi Anda.
- Pilih ukuran holdout. Pembagian 50/50 paling cepat terbaca. Holdout yang lebih kecil melindungi lebih banyak pengunjung dari pengalaman default tetapi memakan waktu lebih lama.
- Pilih konversi yang benar-benar dilakukan segmen tersebut, diukur selama kunjungan atau seluruh kunjungan akun, dan jadikan pipeline sebagai metrik guardrail.
- Tetapkan ukuran sampel dan durasi sebelum peluncuran, dan baca hasilnya hanya untuk segmen tersebut.
Contoh (angka ilustratif): sebuah segmen mendatangkan 3.000 pengunjung per bulan, berkonversi 3%, dan Anda ingin mendeteksi peningkatan relatif 30%. Dihitung dengan versi rumus alokasi tidak seimbang (unpooled), dengan tingkat kepercayaan 95% dan power 80% yang sama:
| Porsi holdout | Total pengunjung yang dibutuhkan | Bulan pada 3.000/bulan |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
Holdout 10% membutuhkan waktu sekitar 2,5 kali lebih lama untuk dibaca dibanding pembagian 50/50. Rekomendasi kami: jalankan tes pertama untuk setiap segmen dengan pembagian 50/50 agar mendapat jawaban yang jelas, lalu pertahankan holdout permanen yang kecil (10 hingga 20%) setelah peluncuran untuk memantau apakah efeknya bertahan dari waktu ke waktu. Roadmap pengujian personalisasi menunjukkan cara mengurutkan tes-tes ini di berbagai segmen. Mulailah dengan segmen yang memiliki traffic terbanyak dan kesenjangan pesan paling jelas, karena hasilnya paling cepat terbaca. Lewati tes segmen sama sekali jika segmen tersebut hanya mendatangkan beberapa ratus pengunjung per bulan; dengan volume sebesar itu, bahkan pembagian 50/50 tidak akan memberi jawaban yang terbaca dalam setahun.
Menjalankan pengujian holdout ini memerlukan identifikasi segmen sebelum halaman dirender dan hanya membagi segmen tersebut. A/B testing Markettailor melakukannya per segmen, menggunakan segmentasi tingkat perusahaan untuk menentukan siapa yang masuk ke setiap pengujian, sehingga pengujian fintech hanya pernah melihat pengunjung fintech.
Pertanyaan yang Sering Diajukan
Apa perbedaan A/B testing dan multivariate testing?
A/B testing membandingkan dua versi halaman yang lengkap. Multivariate testing mengubah beberapa elemen sekaligus dan menguji semua kombinasinya, sehingga bisa menunjukkan elemen mana yang berpengaruh dan apakah elemen-elemen itu saling berinteraksi, dengan konsekuensi membutuhkan trafik jauh lebih banyak.
Apa itu A/B/n testing?
A/B/n testing membandingkan kontrol dengan dua atau lebih varian lengkap secara bersamaan. Metode ini berguna ketika Anda memiliki beberapa pendekatan yang benar-benar berbeda, tetapi setiap varian tambahan membutuhkan sampelnya sendiri dan ambang signifikansi yang lebih ketat.
Berapa banyak traffic yang Anda butuhkan untuk multivariate testing?
Untuk pengujian 2×2×2 di halaman dengan konversi 3%, membaca masing-masing dari 8 kombinasi terhadap kontrol untuk kenaikan 20% membutuhkan sekitar 111.000 hingga 177.000 pengunjung, tergantung koreksi untuk perbandingan berganda. Mendeteksi interaksi bisa membutuhkan beberapa kali lipat lebih banyak.
Apakah multivariate testing layak untuk situs web B2B?
Jarang. Sebagian besar halaman B2B tidak punya cukup trafik untuk membaca kombinasi atau interaksi dalam beberapa bulan. A/B test untuk konsep yang lebih besar dan tes personalisasi per segmen biasanya memberi jawaban yang lebih jelas dan lebih cepat.
Bisakah A/B testing dan pengujian multivariat digabungkan?
Ya. Urutan yang umum adalah melakukan A/B test pada konsep terlebih dahulu, lalu, hanya di halaman dengan traffic sangat tinggi, menjalankan pengujian faktorial kecil pada dua elemen dalam konsep pemenang jika ada interaksi spesifik yang ingin Anda cek.