A/B testing adalah eksperimen terkontrol teracak di mana pengunjung dibagi secara acak di antara dua versi halaman, email, atau fitur, yaitu kontrol (A) dan varian (B), lalu metrik yang telah ditentukan dibandingkan untuk melihat apakah perbedaan di antara keduanya lebih besar daripada yang bisa dijelaskan oleh kebetulan. Ini adalah cara standar untuk mengetahui apakah sebuah perubahan menyebabkan peningkatan, bukan sekadar terjadi bersamaan dengannya.
Metode ini sudah mapan di produk online; panduan praktis oleh Kohavi dan rekan-rekannya tetap menjadi rujukan standar (Kohavi et al., "Controlled experiments on the web", Data Mining and Knowledge Discovery, 2009).
Cara kerja A/B testing
- Hipotesis dan metrik. Sebutkan perubahannya, efek yang diharapkan, dan satu metrik utama, misalnya tingkat permintaan demo.
- Randomisasi. Setiap pengunjung ditetapkan ke A atau B secara acak dan tetap di sana pada kunjungan berikutnya, sehingga kelompoknya hanya berbeda karena perubahan tersebut.
- Ukuran sampel. Tentukan di awal berapa pengunjung yang dibutuhkan setiap versi, berdasarkan tingkat baseline, kenaikan terkecil yang layak dideteksi (minimum detectable effect), tingkat signifikansi, dan power.
- Jalankan. Biarkan pengujian mencapai sampel tersebut, idealnya dalam minggu-minggu penuh. Jangan berhenti lebih awal hanya karena satu sisi tampak unggul.
- Analisis. Bandingkan rasionya. Hasil dianggap signifikan secara statistik pada 5% jika, seandainya memang tidak ada perbedaan, selisih sebesar ini akan muncul kurang dari 5% dari waktu.
Dua pengaturan yang penting. Tingkat signifikansi (biasanya 5%, sering disebut kepercayaan 95%) mengendalikan false positive. Power (biasanya 80%) adalah peluang mendeteksi efek jika efek itu nyata; pengujian dengan power rendah sebagian besar menghasilkan "tidak ada hasil".
Contoh
Contoh: halaman demo berkonversi 3%. Anda ingin mendeteksi peningkatan relatif 20% (3,0% menjadi 3,6%) dengan tes dua sisi pada signifikansi 5% dan power 80%. Rumus dua proporsi standarnya adalah:
n per varian = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- Suku pertama: 1,96 x √(2 x 0,033 x 0,967) = 1,96 x 0,2526 = 0,495
- Suku kedua: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Pembilang: (0,495 + 0,213)² = 0,501; penyebut: 0,006² = 0,000036
- n ≈ 13.900 pengunjung per varian, total sekitar 27.800
Dengan 2.000 pengunjung per minggu ke halaman itu, tes membutuhkan sekitar 14 minggu. Itulah output yang berguna: sebelum membangun apa pun, Anda tahu halaman ini tidak dapat mendukung tes untuk kenaikan 20% dalam waktu yang wajar, sehingga Anda menguji perubahan yang lebih berani, menggunakan halaman dengan traffic lebih tinggi, atau merilis lalu memantau. Anda dapat menghitung ulang angka ini dengan kalkulator A/B test kami atau kalkulator ukuran sampel Evan Miller.
A/B vs A/B/n vs pengujian multivariat
| A/B | A/B/n | Multivariat (MVT) | |
|---|---|---|---|
| Yang berbeda | Satu kontrol vs satu varian | Satu kontrol vs beberapa varian | Beberapa elemen sekaligus, setiap kombinasi |
| Traffic yang dibutuhkan | Terendah | Bertambah dengan setiap varian | Tertinggi: traffic terbagi ke semua kombinasi |
| Jawaban | Apakah B lebih baik dari A? | Versi mana yang terbaik dari beberapa versi? | Kombinasi elemen mana yang berhasil, dan apakah elemen-elemen itu saling berinteraksi? |
| Cocok | Sebagian besar halaman B2B | Headline atau penawaran dengan traffic nyata | Hanya halaman dengan traffic tinggi |
Nielsen Norman Group merangkum komprominya: pengujian multivariat cocok untuk penyempurnaan bertahap di halaman dengan traffic tinggi, sedangkan A/B test bisa membandingkan desain yang sangat berbeda (NN/g, "Multivariate vs. A/B Testing").
Bagaimana tim B2B menggunakan A/B testing
- Menguji panjang dan kata-kata formulir demo dan kontak.
- Membandingkan value proposition dan headline di landing page dengan trafik tinggi.
- Memvalidasi personalisasi: konten khusus segmen vs halaman generik, dengan holdout.
- Tata letak halaman harga dan penyajian paket.
- Subjek email dan konten nurture, jika volumenya memungkinkan.
Pertanyaan yang Sering Diajukan
Berapa lama A/B test harus berjalan?
Sampai mencapai ukuran sampel yang dihitung sebelum peluncuran, dan setidaknya selama satu minggu penuh, sebaiknya dua, agar semua hari kerja terwakili. Bagi jumlah pengunjung yang dibutuhkan per varian dengan traffic mingguan per varian untuk memperkirakan durasinya. Jika jawabannya beberapa bulan, pengujian itu tidak layak dijalankan sesuai desainnya.
Berapa minimum detectable effect yang baik?
Kenaikan terkecil yang layak ditindaklanjuti, mengingat biaya perubahannya. Halaman B2B dengan traffic rendah biasanya membutuhkan minimum detectable effect yang lebih besar, sering kali 20% relatif atau lebih, agar selesai dalam waktu yang wajar. Efek yang lebih kecil bisa saja nyata, tetapi membutuhkan traffic jauh lebih banyak, karena ukuran sampel bertambah kira-kira sebanding dengan kebalikan kuadrat efeknya.
Bisakah melakukan A/B test dengan traffic rendah?
Ya, tetapi uji perubahan yang lebih besar, gunakan langkah funnel dengan traffic tertinggi, dan pilih metrik yang sering terjadi, seperti klik ke halaman demo alih-alih deal yang closing. Jika itu pun terlalu lambat, lakukan perubahan berdasarkan riset dan pantau sebelum-sesudahnya, dengan menerima bahwa buktinya lebih lemah.
Terkait
Rencanakan pengujian dengan template rencana A/B test, baca penjelasan lebih mendalam tentang ukuran sampel A/B test, dan pilih desain pengujian dengan A/B testing vs multivariate testing. Untuk proses yang lebih besar, lihat conversion rate optimization.