Template rencana eksperimen memaksa Anda membuat keputusan yang dilewatkan sebagian besar A/B test: apa tepatnya yang Anda harapkan terjadi, satu metrik mana yang menentukan pemenang, berapa banyak pengunjung yang Anda butuhkan, dan kapan Anda boleh berhenti. Menuliskannya sebelum peluncuran adalah perlindungan termurah agar noise tidak dibaca sebagai hasil. Template di bawah ini berisi satu halaman per tes. Salin ke alat dokumen Anda, atau unduh template sebagai CSV untuk backlog tes di spreadsheet.
Template ini dirancang untuk tingkat traffic B2B, di mana satu pengujian bisa memakan waktu berminggu-minggu. Jika Anda belum pernah merencanakan pengujian, baca panduan conversion rate optimisation kami terlebih dulu untuk mengetahui apa yang layak diuji dengan traffic rendah.
Template Rencana A/B Test
Isi setiap baris sebelum tes diluncurkan. Baris kosong adalah keputusan yang akhirnya akan Anda ambil setelah melihat data, justru hal yang ingin dicegah oleh rencana ini.
| Bagian | Kolom | Apa yang perlu ditulis |
|---|---|---|
| 1. Konteks | Nama dan ID pengujian | Nama singkat yang mudah dicari, misalnya “DEMO-07 formulir lima field” |
| Pemilik | Satu orang yang meluncurkan, memantau, dan melaporkan tes | |
| Bukti di baliknya | Data, rekaman, atau kutipan pelanggan yang membuat Anda memilih pengujian ini | |
| 2. Hipotesis | Perubahan | Apa persisnya perbedaan antara kontrol dan varian |
| Efek yang diharapkan | Metrik mana yang bergerak, ke arah mana | |
| Alasan | Mengapa Anda mengira hal itu akan terjadi, dalam satu kalimat tentang perilaku pembeli | |
| 3. Metrik | Metrik utama | Satu metrik yang menentukan hasil, dengan definisi event yang persis |
| Metrik guardrail | Metrik yang tidak boleh memburuk (kualitas lead, bounce rate, kecepatan halaman) | |
| Metrik sekunder | Menarik tetapi tidak menentukan (kedalaman scroll, klik ke halaman harga) | |
| 4. Audiens | Halaman | URL yang disertakan dalam pengujian |
| Siapa yang termasuk | Semua pengunjung, atau segmen seperti traffic berbayar atau kelompok ukuran perusahaan | |
| Siapa yang dikecualikan | Pelanggan yang sudah ada, traffic internal, bot | |
| Pembagian traffic | Biasanya 50/50 untuk dua varian | |
| 5. Statistik | Tingkat konversi baseline | 4 hingga 8 minggu terakhir untuk halaman dan metrik ini |
| Minimum detectable effect | Kenaikan relatif terkecil yang layak ditindaklanjuti | |
| Keyakinan dan power | Biasanya 95% dan 80% | |
| Ukuran sampel per varian | Dari kalkulator A/B test | |
| Durasi yang direncanakan | Ukuran sampel dibagi trafik mingguan, dibulatkan ke atas menjadi minggu penuh | |
| 6. Aturan | Aturan berhenti | Kapan Anda akan membaca hasilnya (setelah sampel tercapai, tidak pernah lebih awal) |
| Aturan penghentian | Apa yang akan membuat Anda berhenti lebih awal (varian rusak, guardrail turun) | |
| Aturan keputusan | Apa yang Anda rilis jika hasilnya menang, kalah, atau tidak meyakinkan | |
| 7. Hasil | Tanggal berjalan | Tanggal mulai dan berakhir |
| Hasil per kelompok | Pengunjung, konversi, tingkat konversi | |
| Signifikansi dan interval | p-value dan interval kepercayaan dari selisihnya | |
| Keputusan dan pembelajaran | Apa yang Anda luncurkan dan apa yang Anda pelajari tentang pembeli |
Cara Mengisinya
- Mulai dari bukti, bukan ide. Bagian 1 menanyakan mengapa pengujian ini ada. Sumber yang baik: langkah funnel dengan penurunan yang tidak biasa, rekaman sesi, catatan panggilan sales, temuan checklist audit CRO. "CEO ingin hero baru" bukanlah bukti.
- Tulis hipotesis yang bisa dibuktikan salah. "Jika kita memangkas formulir demo dari sembilan kolom menjadi lima, pengiriman demo per pengunjung akan naik, karena pembeli berhenti mengisi saat ditanya anggaran sebelum melihat produknya." Hipotesis tanpa alasan tidak mengajarkan apa pun ketika gagal.
- Pilih satu metrik utama. Jika Anda memilih tiga, salah satunya kemungkinan akan bergerak secara kebetulan dan Anda akan tergoda menyebutnya kemenangan.
- Tentukan ukuran pengujian sebelum membangunnya. Masukkan baseline dan minimum detectable effect ke kalkulator. Jika pengujian membutuhkan lebih dari satu kuartal, ubah rencananya: uji perubahan yang lebih besar, gunakan metrik yang lebih sering terjadi, atau pilih halaman dengan traffic lebih tinggi. Panduan kami tentang ukuran sampel A/B test menjelaskan pertimbangannya.
- Sepakati aturan keputusan sejak awal. Tentukan apa arti "tidak meyakinkan" bagi Anda. Banyak tim B2B merilis varian yang lebih sederhana ketika hasilnya datar, dan itu aturan yang baik jika ditulis sebelum peluncuran.
Contoh Rencana yang Sudah Diisi
Angka ilustratif untuk perusahaan software B2B fiktif.
| Kolom | Masuk |
|---|---|
| Nama tes | DEMO-07 formulir demo lima kolom |
| Bukti | Analitik formulir menunjukkan sebagian besar pengunjung berhenti di kolom "Anggaran"; sales mengonfirmasi bahwa mereka tidak memakainya di panggilan pertama |
| Hipotesis | Memangkas formulir dari sembilan menjadi lima kolom menaikkan pengiriman demo per pengunjung karena pembeli tidak mau mengungkapkan anggaran sebelum melihat produknya |
| Metrik utama | Pengiriman formulir demo dibagi pengunjung unik ke /demo |
| Pagar pembatas | Porsi pengiriman formulir yang diterima sales sebagai terkualifikasi tidak boleh turun lebih dari seperempat |
| Audiens | Semua pengunjung /demo, tidak termasuk pelanggan yang sedang login dan IP internal; pembagian 50/50 |
| Baseline | 8% pengunjung /demo mengirim formulir |
| Minimum detectable effect | 20% relatif (8,0% menjadi 9,6%) |
| Ukuran sampel | Sekitar 4.900 pengunjung per varian pada tingkat kepercayaan 95% dan power 80% |
| Durasi | /demo mendapat sekitar 1.500 pengunjung per minggu, jadi total sekitar 9.800 pengunjung membutuhkan 7 minggu |
| Aturan berhenti | Baca hasil setelah 7 minggu penuh atau setelah kedua kelompok melewati 4.900 pengunjung, mana pun yang lebih lama |
| Aturan penghentian | Hentikan jika formulir varian gagal dikirim atau rasio lead yang memenuhi syarat turun separuh dalam dua minggu pertama |
| Aturan keputusan | Menang: rilis lima kolom. Kalah: pertahankan sembilan. Tidak konklusif: rilis lima kolom, karena lebih sederhana dan pengayaan data mengisi kekurangannya |
Backlog Pengujian
Unduhan CSV juga mencakup lembar backlog agar Anda dapat memeringkat tes sebelum menulis rencana lengkap. Satu baris per ide:
| ID | Halaman | Ide | Bukti | Dampak (1-3) | Keyakinan (1-3) | Kemudahan (1–3) | Skor | Minggu yang dibutuhkan | Status |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Formulir lima kolom | Drop-off per kolom | 3 | 2 | 3 | 8 | 7 | Direncanakan |
| HOME-03 | / | Hero khusus industri | Pengunjung ICP lebih banyak bounce | 3 | 2 | 2 | 7 | 10 | Ide |
Ide dengan skor tinggi tetapi butuh lebih dari 12 minggu lebih cocok untuk perbandingan holdout atau aturan personalisasi daripada A/B test klasik. Lihat A/B testing vs multivariate testing untuk mengetahui kapan setiap metode cocok.
Pertanyaan yang Sering Diajukan
Apa saja yang harus ada dalam rencana A/B test?
Hipotesis beserta alasannya, satu metrik utama dengan definisi yang tepat, metrik guardrail, audiens dan pembagiannya, tingkat baseline, minimum detectable effect, ukuran sampel, durasi, serta aturan penghentian, pembatalan, dan keputusan. Tambahkan bagian hasil agar rencana tersebut menjadi catatan pengujiannya.
Apa perbedaan antara rencana eksperimen dan test brief?
Kedua istilah ini digunakan secara bergantian. Sebagian tim memakai "brief" untuk permintaan desain dan copy yang dikirim ke desainer, dan "plan" untuk penyiapan statistik. Template ini mencakup keduanya, dengan perubahan kreatif dijelaskan di bagian hipotesis.
Berapa lama A/B test B2B sebaiknya dijalankan?
Sampai mencapai ukuran sampel yang Anda hitung, dan setidaknya selama satu minggu penuh. Banyak halaman B2B membutuhkan empat hingga dua belas minggu. Jika perhitungannya menunjukkan lebih dari satu kuartal, ubah tesnya alih-alih menghentikannya lebih awal.
Haruskah saya menulis rencana untuk setiap tes kecil?
Ya, meskipun untuk pengujian copy tombol, rencananya cukup lima baris. Aturan berhenti dan metrik utama adalah dua bagian yang tidak boleh Anda lewati, karena keduanya mencegah Anda menyebut fluktuasi acak sebagai kemenangan.