Rumus ukuran sampel A/B testing memberi tahu berapa banyak pengunjung yang dibutuhkan setiap varian sebelum perbedaan tingkat konversi memiliki arti. Untuk tes dua sisi standar pada tingkat kepercayaan 95% dan power 80%, Anda membutuhkan kira-kira n = (1,96 + 0,84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)² pengunjung per varian, dengan p1 adalah tingkat baseline Anda dan p2 tingkat yang ingin Anda deteksi.
Jalankan rumus itu dengan angka B2B nyata dan hasilnya tidak nyaman. Halaman dengan konversi 3% membutuhkan sekitar 14.000 pengunjung per varian untuk mendeteksi peningkatan relatif 20% secara andal. Banyak halaman B2B tidak mendapatkan pengunjung sebanyak itu dalam satu kuartal. Di bawah ini: rumus beserta setiap inputnya, tabel hasil perhitungan untuk berbagai tingkat baseline, berapa lama tes berlangsung pada tingkat traffic tertentu, dan apa yang harus dilakukan ketika jawabannya "delapan bulan."
Posisi Kami: Sebagian Besar A/B Test B2B Kekurangan Power
Pertama, opini yang didukung oleh matematika. Pandangan kami adalah sebagian besar A/B test B2B dihentikan jauh sebelum datanya cukup, dan banyak "pemenang" yang dihasilkannya hanyalah noise. Polanya seperti ini: tes tiga minggu, varian unggul 25%, lencana hijau, perubahan diluncurkan, dan enam bulan kemudian tidak ada peningkatan pipeline yang terlihat.
Tes dengan power rendah melewatkan efek yang nyata, sehingga membuang slot tes. Lebih buruk lagi, ketika tes dengan power rendah melewati garis signifikansi, kenaikan yang terukur cenderung dilebih-lebihkan, karena hanya hasil yang beruntung yang berhasil melewati batas. Ahli statistik menyebutnya kesalahan magnitudo (type M). Tim merilis perubahan yang mungkin tidak berdampak apa pun sekaligus mencatat angka yang dibesar-besarkan dalam laporan CRO-nya. Menghitung ukuran sampel sebelum peluncuran adalah perlindungan termurah.
Rumus Ukuran Sampel A/B Testing
Rumus standar untuk membandingkan dua conversion rate (two-proportion z-test) adalah:
n per varian = [ zα/2 × √(2 × p̄ × (1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
Setiap input memiliki makna sederhana:
- p1 (conversion rate dasar): conversion rate saat ini untuk halaman dan tujuan yang Anda uji. Gunakan rasio untuk event konversi dan halaman yang persis sama, dari 4 hingga 8 minggu terakhir, bukan rata-rata seluruh situs.
- p2 (tingkat target): baseline dikalikan (1 + MDE). Dengan baseline 3% dan MDE relatif 20%, p2 = 3,6%.
- MDE (minimum detectable effect): kenaikan relatif terkecil yang ingin Anda deteksi. Ini keputusan bisnis, bukan keputusan statistik. MDE yang lebih kecil membutuhkan traffic yang jauh lebih banyak, karena selisihnya (p2 − p1) dikuadratkan di penyebut. Perkecil MDE menjadi setengahnya dan sampel Anda kira-kira menjadi empat kali lipat.
- p̄ (tingkat gabungan): rata-rata dari p1 dan p2. Nilai ini menggambarkan noise dengan asumsi tidak ada perbedaan nyata.
- zα/2 = 1,96: sesuai dengan tingkat false positive 5% (alpha 0,05), dibagi ke kedua ekor karena varian bisa lebih baik atau lebih buruk.
- zβ = 0,8416: sesuai dengan power 80%, artinya jika kenaikan sebenarnya sama dengan MDE Anda, pengujian akan mendeteksinya 80% dari waktu. 20% sisanya Anda melewatkan pemenang yang sebenarnya.
Banyak kalkulator menggunakan versi unpooled yang disederhanakan seperti di paragraf pertama. Pada tingkat konversi B2B, selisih keduanya hanya segelintir pengunjung. Kalkulator A/B test kami menggunakan rumus pooled di atas dan juga memperkirakan durasi pengujian.
Contoh Perhitungan, Langkah demi Langkah
Contoh (angka ilustratif): halaman permintaan demo berkonversi 3%. Anda ingin mendeteksi kenaikan relatif 20%.
- Tetapkan tingkatnya: p1 = 0,030, p2 = 0,030 × 1,2 = 0,036. Selisih absolutnya 0,006.
- Rasio gabungan: p̄ = (0,030 + 0,036) / 2 = 0,033.
- Suku pertama: √(2 × 0,033 × 0,967) = √0,06382 = 0,2526. Kalikan dengan 1,96: 0,4951.
- Suku kedua: p1(1−p1) = 0,0291 dan p2(1−p2) = 0,0347. √(0,0638) = 0,2526. Kalikan dengan 0,8416: 0,2126.
- Jumlahkan lalu kuadratkan: (0,4951 + 0,2126)² = 0,7077² = 0,5009.
- Bagi dengan kuadrat selisihnya: 0,5009 / 0,006² = 0,5009 / 0,000036 = 13.914 pengunjung per varian.
Jadi pengujian ini membutuhkan sekitar 27.800 pengunjung secara total, dan kira-kira 417 konversi di kelompok kontrol saja (13.914 × 3%), sebelum Anda membaca hasilnya. Sebagai pembanding, rumus unpooled yang disederhanakan menghasilkan 13.911 per varian, dan pendekatan arcsine (Cohen's h) menghasilkan sekitar 13.890. Ketiga metode selisihnya tidak lebih dari 0,2%.
Tabel Ukuran Sampel untuk Conversion Rate B2B
Tabel di bawah menerapkan rumus pooled di atas (alpha 0,05 dua sisi, power 0,8) pada tingkat baseline dari 1% (misalnya, permintaan demo sebagai porsi dari semua pengunjung halaman yang ramai) hingga 10% (misalnya, micro conversion seperti klik CTA). Gunakan baseline Anda sendiri; baris-baris ini hanya titik acuan. Nilainya adalah jumlah pengunjung per varian, dihitung di Node.js dan dibulatkan ke atas.
| Tingkat konversi baseline | MDE relatif 10% | MDE relatif 20% | MDE relatif 30% | MDE relatif 50% |
|---|---|---|---|---|
| 1% | 163,095 | 42,693 | 19,827 | 7,750 |
| 2% | 80,682 | 21,109 | 9,798 | 3,826 |
| 3% | 53,211 | 13,914 | 6,455 | 2,518 |
| 5% | 31,234 | 8,158 | 3,780 | 1,471 |
| 10% | 14,751 | 3,841 | 1,774 | 686 |
Beralih dari MDE 10% ke MDE 50% memangkas sampel yang dibutuhkan sekitar 20 kali lipat. Menggandakan tingkat baseline memangkasnya kira-kira setengah. Anda tidak bisa mengubah traffic dengan cepat, tetapi Anda bisa memilih besarnya perubahan yang diuji dan konversi yang diukur, dan di situs kecil, itulah dua tuas yang penting.
Berapa Lama Pengujian Akan Berlangsung?
Durasi adalah total pengunjung yang dibutuhkan (kedua varian) dibagi pengunjung bulanan yang benar-benar mencapai halaman yang diuji. Tabel menunjukkan jumlah bulan untuk pembagian 50/50 pada tiga tingkat traffic.
| Pengunjung bulanan ke halaman | Baseline | MDE 10% | MDE 20% | MDE 30% | MDE 50% |
|---|---|---|---|---|---|
| 2,000 | 2% | 80.7 | 21.1 | 9.8 | 3.8 |
| 2,000 | 3% | 53.2 | 13.9 | 6.5 | 2.5 |
| 2,000 | 5% | 31.2 | 8.2 | 3.8 | 1.5 |
| 5,000 | 2% | 32.3 | 8.4 | 3.9 | 1.5 |
| 5,000 | 3% | 21.3 | 5.6 | 2.6 | 1.0 |
| 5,000 | 5% | 12.5 | 3.3 | 1.5 | 0.6 |
| 20,000 | 2% | 8.1 | 2.1 | 1.0 | 0.4 |
| 20,000 | 3% | 5.3 | 1.4 | 0.6 | 0.3 |
| 20,000 | 5% | 3.1 | 0.8 | 0.4 | 0.1 |
Apa pun yang tertulis di tabel, jalankan setiap pengujian setidaknya dua minggu penuh agar perilaku hari kerja dan akhir pekan serta lonjakan kampanye terwakili di kedua kelompok. Dan anggap pengujian yang lebih dari tiga bulan sebagai pengujian yang sebaiknya tidak dijalankan dalam bentuknya saat ini: konten halaman, kampanye, dan komposisi traffic semuanya bergeser selama waktu itu, sehingga hasilnya menggambarkan situs yang sudah tidak ada lagi.
Dengan 5.000 pengunjung per bulan dan baseline 3%, kenaikan 50% bisa terbaca dalam sekitar sebulan, sedangkan kenaikan 10% butuh hampir dua tahun. Tidak ada yang membiarkan halaman tidak berubah selama dua tahun, jadi tes kedua akan dihentikan lebih awal dan dibaca seolah-olah hasilnya bermakna.
Kesalahan yang Sering Dibuat Tim
- Memakai traffic seluruh situs dalam estimasi durasi. Hanya pengunjung yang mencapai elemen yang diuji yang dihitung. Pengujian halaman harga di situs dengan 20.000 pengunjung mungkin hanya melihat 2.000 pengunjung yang memenuhi syarat per bulan.
- Memilih MDE setelah pengujian. Jika Anda menetapkan MDE 30% sebelum peluncuran dan pengujian menunjukkan 12%, Anda tidak punya pemenang 12%. Yang Anda punya adalah pengujian yang tidak konklusif.
- Mengintip hasil dan berhenti di badge hijau pertama. Analisis Evan Miller, How Not To Run an A/B Test, menunjukkan bahwa uji signifikansi berulang selalu menaikkan tingkat false positive. Dalam contohnya (baseline 50%, perubahan yang tidak berdampak apa-apa, berhenti begitu hasil mencapai signifikansi 5% atau setelah 150 observasi), tingkat false positive-nya 26,1%, bukan 5% sesuai nominalnya.
Ketika Angkanya Menunjukkan Berbulan-bulan: Tujuh Opsi
1. Uji perubahan yang lebih besar
Cara termurah untuk memangkas ukuran sampel adalah menaikkan MDE secara jujur, yang berarti menguji perubahan yang cukup besar untuk masuk akal menghasilkannya: value proposition baru, penawaran berbeda (pemesanan instan versus formulir kontak), halaman yang disesuaikan untuk satu industri alih-alih yang generik. Panduan conversion rate optimisation B2B kami membahas cara mengurutkan ide pengujian berdasarkan perkiraan besar efeknya.
2. Uji di halaman dengan traffic lebih tinggi
Homepage, postingan blog teratas, dan landing page bervolume tinggi memberi Anda lebih banyak pengunjung per bulan (lihat catatan kami tentang optimasi landing page B2B untuk halaman mana yang cenderung membawa traffic tahap keputusan terbanyak). Tes pada template yang digunakan banyak halaman (semua halaman solusi, semua postingan blog) menggabungkan traffic mereka ke dalam satu eksperimen.
3. Gunakan micro conversion dengan hati-hati
Konversi mikro seperti klik CTA atau mulai mengisi formulir punya baseline lebih tinggi, jadi yang berlaku adalah baris 10% di tabel, bukan baris 2%. Masalahnya: sebuah varian bisa menaikkan klik tetapi menurunkan demo yang berkualitas. Gunakan konversi mikro sebagai metrik keputusan hanya jika Anda punya bukti bahwa metrik itu bergerak seiring tujuan makro, dan selalu laporkan konversi makro di sampingnya sebagai pengaman.
4. Gabungkan segmen, lalu pisahkan kemudian
Menjalankan tes terpisah per segmen membagi traffic Anda. Jalankan satu tes di seluruh segmen, lalu lihat hasil tingkat segmen hanya sebagai indikasi arah. Jika Anda membutuhkan jawaban khusus segmen, tes harus disesuaikan ukurannya dengan traffic segmen itu saja. Roadmap pengujian personalisasi 90 hari menunjukkan cara mengurutkan tes segmen agar masing-masing mendapat traffic yang cukup.
5. Gunakan sequential testing
Desain sekuensial (group sequential test dengan pengamatan sementara yang direncanakan sebelumnya, atau metode always-valid yang tertanam di beberapa alat testing) memungkinkan Anda memeriksa hasil selama tes dan menghentikannya lebih awal ketika efeknya besar, tanpa menggelembungkan false positive. Konsekuensinya adalah ukuran sampel maksimum yang sedikit lebih besar jika tes berjalan hingga selesai. Inilah versi sah dari peeking. Jika sebuah tes akan memakan waktu berbulan-bulan, alokasikan anggaran untuk alat CRO diagnostik seperti rekaman sesi dan analitik formulir terlebih dahulu.
6. Pertimbangkan pendekatan Bayesian, dengan ekspektasi yang jelas
A/B testing Bayesian melaporkan probabilitas bahwa B mengalahkan A dan expected loss jika Anda memilih yang salah. Ini lebih mudah ditindaklanjuti daripada p-value, dan memungkinkan Anda membuat keputusan eksplisit seperti “rilis jika probabilitas lebih baik di atas 90% dan expected loss di bawah 0,1 poin persentase.” Untuk perubahan yang bisa dibatalkan, menerima risiko itu sering kali rasional.
Yang tidak dilakukan metode Bayesian adalah menciptakan informasi. Dengan prior yang lemah, data yang dibutuhkan untuk yakin tentang kenaikan 20% kurang lebih sama dengan di tabel frequentist. "Probability to beat" 90% pada sampel yang sangat kecil tetap rapuh, dan mengeceknya setiap hari dengan aturan penghentian tetap menaikkan tingkat kesalahan dalam praktiknya. Bayesian testing mengubah cara Anda mengekspresikan ketidakpastian dan mengambil keputusan. Metode ini tidak mengecilkan ketidakpastian itu.
7. Jangan mengintip, atau rencanakan waktu mengintip Anda
Tetapkan ukuran sampel sebelum peluncuran, tuliskan di test brief, dan jangan menyimpulkan tes sampai Anda mencapainya. Jika pemangku kepentingan membutuhkan pembaruan sementara, gunakan desain sekuensial sejak awal alih-alih pemeriksaan dadakan. Template rencana eksperimen kami memiliki kolom untuk setiap keputusan ini.
Daftar Periksa Pra-Peluncuran
- Ambil tingkat baseline dan jumlah pengunjung bulanan yang memenuhi syarat untuk halaman dan konversi yang spesifik (4 hingga 8 minggu terakhir).
- Pilih MDE berdasarkan besarnya perubahan, dan catat.
- Hitung n per varian dengan rumus atau tabel di atas, lalu durasinya.
- Jika durasinya melebihi sekitar tiga bulan, rancang ulang pengujiannya (perubahan lebih besar, halaman dengan traffic lebih tinggi, atau metrik dengan baseline lebih tinggi disertai pagar pembatas).
- Tetapkan aturan berhenti: sampel tetap, atau rencana sekuensial dengan titik pemeriksaan yang direncanakan sebelumnya.
Bagi tim B2B, ukuran efek terbesar biasanya berasal dari menampilkan konten berbeda kepada pengunjung yang berbeda, bukan dari memoles satu halaman untuk semua orang, karena pesan yang ditulis untuk satu segmen adalah perubahan yang lebih besar daripada warna tombol baru. Jika Anda memutuskan antara split test sederhana dan tes dengan beberapa varian atau faktor, baca perbandingan kami tentang A/B testing vs multivariate testing, yang menerapkan perhitungan ukuran sampel yang sama pada desain A/B/n dan multivariat.
Saat Anda siap menguji pengalaman khusus segmen, A/B testing untuk halaman yang dipersonalisasi dari Markettailor memungkinkan Anda membagi setiap segmen terhadap kontrol dan melacak hasilnya per segmen, sehingga ukuran sampel yang Anda rencanakan benar-benar Anda dapatkan.
Pertanyaan yang Sering Diajukan
Apa rumus ukuran sampel A/B test?
Untuk dua tingkat konversi, n per varian = [1,96 × √(2p̄(1−p̄)) + 0,8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)², di mana p1 adalah baseline, p2 tingkat target, dan p̄ rata-ratanya. Ini mengasumsikan tingkat keyakinan 95% (dua sisi) dan power 80%.
Berapa banyak pengunjung yang saya butuhkan untuk A/B test dengan tingkat konversi 2%?
Sekitar 21.100 pengunjung per varian untuk mendeteksi lift relatif 20%, sekitar 9.800 untuk lift 30%, dan sekitar 3.800 untuk lift 50%, pada tingkat kepercayaan 95% dan power 80%. Gandakan angka ini untuk total trafik pengujian.
Apakah A/B testing Bayesian membutuhkan ukuran sampel yang lebih kecil?
Tidak secara berarti, kecuali Anda punya prior yang kuat dan beralasan. Pengujian Bayesian memberikan output yang lebih intuitif (probabilitas mengalahkan kontrol, expected loss) dan mendukung keputusan berbasis risiko, tetapi jumlah data yang dibutuhkan untuk yakin pada kenaikan tertentu serupa dengan perhitungan frequentist.
Minimum detectable effect berapa yang sebaiknya digunakan situs B2B?
Pilih MDE berdasarkan traffic Anda, bukan angan-angan. Hitung apa yang dapat dideteksi dalam enam hingga delapan minggu dengan traffic halaman Anda, lalu hanya uji perubahan yang cukup besar untuk secara masuk akal menghasilkan lift tersebut. Dalam tabel durasi di atas, halaman dengan 5.000 pengunjung per bulan dan baseline 3% hanya bisa membaca lift sekitar 30% atau lebih dalam tiga bulan.
Bisakah saya menghentikan A/B test lebih awal jika sudah signifikan?
Tidak dengan uji sampel tetap standar, karena pemeriksaan berulang memperbesar false positive. Jika Anda butuh opsi untuk berhenti lebih awal, gunakan desain sequential testing dengan analisis sela yang direncanakan sebelum peluncuran.