Cara Kerja Kalkulator
Tab ukuran sampel memakai rumus standar untuk membandingkan dua conversion rate dengan uji z dua proporsi dua sisi:
n per varian = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 adalah tingkat konversi baseline Anda untuk halaman dan tujuan persis yang sedang Anda uji.
- p2 adalah baseline dikali (1 + minimum detectable effect).
- p̄ adalah rata-rata dari p1 dan p2.
- zα/2 bernilai 1,96 pada kepercayaan 95%, dan zβ bernilai 0,84 pada power 80%.
Dengan lebih dari satu varian, kalkulator membagi alpha dengan jumlah perbandingan terhadap kontrol (koreksi Bonferroni), yang menjaga tingkat false positive keseluruhan pada tingkat kepercayaan yang Anda pilih. Panduan kami tentang ukuran sampel A/B test menjelaskan rumusnya langkah demi langkah dengan tabel untuk tingkat konversi B2B yang umum.
Contoh Kasus
Angka ilustratif: halaman permintaan demo memiliki konversi 3% dan menerima 2.000 pengunjung per minggu. Anda ingin tahu apakah headline baru menaikkan konversi setidaknya 20%, jadi p2 adalah 3,6%. Kalkulator menghasilkan sekitar 13.900 pengunjung per varian, total 27.800, yang setara dengan traffic 14 minggu. Itulah jawaban jujur untuk banyak halaman B2B, dan itulah sebabnya tool ini menandai setiap pengujian yang lebih lama dari satu kuartal.
Tiga cara untuk mempersingkat durasi: uji perubahan yang lebih berani dan naikkan minimum detectable effect menjadi 30% atau lebih, ukur event yang lebih sering terjadi seperti klik ke halaman demo, atau jalankan tes di halaman dengan traffic lebih tinggi. Jika Anda memilih antara A/B test dan tes beberapa elemen sekaligus, baca A/B testing vs multivariate testing terlebih dahulu, karena tes multivariat membutuhkan traffic yang jauh lebih banyak.
Membaca Hasil Signifikansi
Tab signifikansi membandingkan dua varian yang sudah selesai. Misalkan kontrol memiliki 5.000 pengunjung dan 150 konversi (3,0%) dan varian 5.000 pengunjung dan 190 konversi (3,8%). Kenaikan relatifnya 26,7%, p-value sekitar 0,027, dan interval kepercayaan 95% dari selisihnya berkisar dari sekitar 0,1 hingga 1,5 poin persentase. Hasilnya signifikan, tetapi intervalnya lebar: kenaikan sebenarnya bisa kecil. Anggap kenaikan yang terukur sebagai estimasi yang cenderung tinggi, terutama jika tes dihentikan lebih awal.
Untuk apa yang perlu diuji lebih dulu di situs B2B dengan traffic rendah, lihat bagian pengujian dalam panduan conversion rate optimization kami. Jika Anda menguji pengalaman yang dipersonalisasi alih-alih perubahan satu halaman, A/B testing Markettailor menjalankan holdout per segmen pengunjung.
Pertanyaan yang Sering Diajukan
Berapa banyak pengunjung yang saya butuhkan untuk A/B test?
Tergantung pada conversion rate dasar Anda dan kenaikan terkecil yang ingin Anda deteksi. Dengan baseline 3%, mendeteksi kenaikan relatif 20% pada tingkat kepercayaan 95% dan power 80% membutuhkan sekitar 13.900 pengunjung per varian. Memperkecil kenaikan yang ingin dideteksi menjadi setengahnya kira-kira melipatgandakan sampel hingga empat kali.
Bagaimana signifikansi statistik dihitung untuk A/B test?
Kalkulator ini menggunakan two-sided two-proportion z-test. Kalkulator menggabungkan kedua varian untuk mengestimasi noise yang diharapkan jika tidak ada perbedaan nyata, membagi selisih tingkat konversi yang teramati dengan standard error tersebut, lalu mengonversi z-score yang dihasilkan menjadi p-value. P-value di bawah 0,05 signifikan pada tingkat kepercayaan 95%.
Berapa lama A/B test harus berjalan?
Sampai mencapai ukuran sampel yang dihitung sebelum peluncuran, dan setidaknya selama satu minggu penuh agar perilaku hari kerja dan akhir pekan sama-sama tercakup. Estimasi durasi di atas membagi total sampel dengan traffic mingguan Anda ke halaman yang diuji.
Bisakah saya menghentikan A/B test begitu hasilnya signifikan?
Tidak. Memeriksa hasil berulang kali dan berhenti pada pembacaan signifikan pertama menaikkan tingkat false positive jauh di atas 5%. Tentukan ukuran sampel di awal dan baca hasilnya setelah tercapai, atau gunakan metode yang dirancang untuk pemantauan berkelanjutan seperti sequential test.
Bagaimana jika situs B2B saya tidak punya cukup trafik untuk A/B test?
Uji perubahan yang lebih besar, pilih event konversi yang lebih sering terjadi (seperti klik ke halaman demo alih-alih demo yang terpesan), uji pada template dengan traffic tertinggi, atau terima tes yang lebih lama. Jika sebuah tes akan memakan waktu lebih dari satu kuartal, gunakan riset kualitatif dan perbandingan holdout sebagai gantinya.