Bir deney planı şablonu, çoğu A/B testinin atladığı kararları almaya zorlar: tam olarak ne olmasını beklediğiniz, kazananı hangi tek metriğin belirleyeceği, kaç ziyaretçiye ihtiyacınız olduğu ve ne zaman durdurmanıza izin verildiği. Bunları yayına almadan önce yazmak, gürültüyü sonuç olarak okumaya karşı en ucuz korumadır. Aşağıdaki şablon her test için tek sayfadır. Belge aracınıza kopyalayın ya da elektronik tabloda bir test listesi tutmak için şablonu CSV olarak indirin.
Tek bir testin haftalar sürebildiği B2B trafik seviyeleri için tasarlanmıştır. Daha önce bir test planlamadıysanız, düşük trafikte neyin test edilmeye değer olduğunu görmek için önce dönüşüm oranı optimizasyonu rehberimizi okuyun.
A/B Testi Plan Şablonu
Test yayına girmeden önce her satırı doldurun. Boş bir satır, verileri gördükten sonra vereceğiniz bir karardır; planın önlemeye çalıştığı şey de tam olarak budur.
| Bölüm | Alan | Ne yazılmalı |
|---|---|---|
| 1. Bağlam | Test adı ve kimliği | Kısa, aranabilir bir ad; örneğin “DEMO-07 beş alanlı form” |
| Sahip | Testi başlatan, izleyen ve raporlayan tek bir kişi | |
| Arkasındaki kanıt | Bu testi seçmenize neden olan veri, kayıt veya müşteri alıntısı | |
| 2. Hipotez | Değişiklik | Kontrol ile varyant arasında tam olarak ne fark ettiği |
| Beklenen etki | Hangi metrik, hangi yönde hareket ediyor | |
| Gerekçe | Bunun neden olacağını düşündüğünüz, alıcı davranışına dair tek bir cümleyle | |
| 3. Metrikler | Birincil metrik | Sonucu belirleyen tek metrik, tam olay tanımıyla |
| Koruma metrikleri | Kötüleşmemesi gereken metrikler (lead kalitesi, hemen çıkma oranı, sayfa hızı) | |
| İkincil metrikler | İlginç ama belirleyici değil (kaydırma derinliği, fiyatlandırmaya tıklamalar) | |
| 4. Kitle | Sayfa(lar) | Teste dahil edilen URL'ler |
| Kimler dâhil | Tüm ziyaretçiler veya ücretli trafik ya da bir şirket büyüklüğü aralığı gibi bir segment | |
| Kim hariç tutulur | Mevcut müşteriler, dahili trafik, botlar | |
| Trafik dağılımı | İki kol için genellikle 50/50 | |
| 5. İstatistik | Temel dönüşüm oranı | Bu sayfa ve bu metrik için son 4 ila 8 hafta |
| Saptanabilir minimum etki | Harekete geçmeye değer en küçük göreli artış | |
| Güven ve güç | Genellikle %95 ve %80 | |
| Varyant başına örneklem büyüklüğü | A/B testi hesaplayıcısından | |
| Planlanan süre | Örneklem büyüklüğünün haftalık trafiğe bölümü, tam haftaya yukarı yuvarlanmış | |
| 6. Kurallar | Durdurma kuralı | Sonucu ne zaman okuyacağınız (örneklem tamamlandığında, asla daha erken değil) |
| Sonlandırma kuralı | Testi erken durdurmanıza neyin yol açacağı (bozuk varyant, koruma metriğinde düşüş) | |
| Karar kuralı | Sonuç kazanç, kayıp veya belirsiz olursa neyi yayına alacağınız | |
| 7. Sonuçlar | Yayında olduğu tarihler | Başlangıç ve bitiş tarihi |
| Kol başına sonuç | Ziyaretçiler, dönüşümler, dönüşüm oranı | |
| Anlamlılık ve aralık | Farkın p değeri ve güven aralığı | |
| Karar ve öğrenme | Neyi yayına aldığınız ve bunun size alıcılar hakkında ne öğrettiği |
Nasıl Doldurulur
- Fikirlerden değil, kanıttan başlayın. 1. bölüm bu testin neden var olduğunu sorar. İyi kaynaklar: olağandışı bir düşüş yaşanan bir huni adımı, oturum kayıtları, satış görüşmesi notları, bir CRO denetimi kontrol listesi bulgusu. "CEO yeni bir hero alanı istiyor" kanıt değildir.
- Yanlışlanabilir bir hipotez yazın. "Demo formunu dokuz alandan beşe indirirsek, ziyaretçi başına demo gönderimleri artar, çünkü alıcılar ürünü görmeden bütçe sorulduğunda formu terk ediyor." Gerekçesi olmayan bir hipotez başarısız olduğunda size hiçbir şey öğretmez.
- Tek bir birincil metrik seçin. Üç tane seçerseniz, büyük olasılıkla biri tesadüfen hareket eder ve onu kazanım olarak ilan etmek istersiniz.
- Testi oluşturmadan önce boyutlandırın. Başlangıç oranını ve saptanabilir minimum etkiyi hesaplayıcıya girin. Test bir çeyrekten fazla sürecekse planı değiştirin: daha büyük bir değişikliği test edin, daha sık gerçekleşen bir metrik kullanın veya daha yüksek trafikli bir sayfa seçin. A/B testi örneklem büyüklüğü rehberimiz bu ödünleşimleri açıklıyor.
- Karar kuralında önceden anlaşın. "Belirsiz"in sizin için ne anlama geldiğine karar verin. Birçok B2B ekibi sonuçlar düz çıktığında daha basit varyantı yayına alır; bu, yayından önce yazılı hale getirildiği sürece iyi bir kuraldır.
Temsili Olarak Doldurulmuş Plan
Kurgusal bir B2B yazılım şirketi için temsili rakamlar.
| Alan | Giriş |
|---|---|
| Test adı | DEMO-07 beş alanlı demo formu |
| Kanıt | Form analitiği terk edilmelerin çoğunun "Bütçe" alanında yaşandığını gösteriyor; satış ekibi bu bilgiyi ilk görüşmede kullanmadıklarını doğruluyor |
| Hipotez | Formu dokuz alandan beşe indirmek ziyaretçi başına demo gönderimlerini artırır, çünkü alıcılar ürünü görmeden bütçe paylaşmaz |
| Birincil metrik | Demo form gönderimlerinin /demo sayfasının tekil ziyaretçilerine bölümü |
| Koruma metrikleri | Satış ekibinin nitelikli olarak kabul ettiği gönderimlerin payı dörtte birden fazla düşmemelidir |
| Kitle | /demo sayfasının tüm ziyaretçileri; giriş yapmış müşteriler ve dahili IP'ler hariç; 50/50 bölünme |
| Başlangıç değeri | /demo ziyaretçilerinin %8'i form gönderiyor |
| Saptanabilir minimum etki | %20 göreli (%8,0'dan %9,6'ya) |
| Örneklem büyüklüğü | %95 güven düzeyi ve %80 güçte varyant başına yaklaşık 4.900 ziyaretçi |
| Süre | /demo haftada yaklaşık 1.500 ziyaretçi alıyor; dolayısıyla toplam yaklaşık 9.800 ziyaretçi 7 hafta sürüyor |
| Durdurma kuralı | Sonucu tam 7 hafta sonra veya her iki kol da 4.900 ziyaretçiyi geçtiğinde (hangisi daha geçse) okuyun |
| Sonlandırma kuralı | Varyant formu gönderilemezse veya ilk iki haftada nitelikli oran yarıya düşerse durdurun |
| Karar kuralı | Kazanç: beş alanı yayına alın. Kayıp: dokuzu koruyun. Sonuçsuz: daha basit olduğu ve zenginleştirme boşluğu doldurduğu için beş alanı yayına alın |
Test Birikim Listesi
CSV indirmesi ayrıca tam planları yazmadan önce testleri sıralayabilmeniz için bir test listesi sayfası içerir. Her fikir için bir satır:
| Kimlik | Sayfa | Fikir | Kanıt | Etki (1-3) | Güven (1-3) | Kolaylık (1-3) | Puan | Gereken hafta | Durum |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Beş alanlı form | Alan bazında terk | 3 | 2 | 3 | 8 | 7 | Planlandı |
| HOME-03 | / | Sektöre özel hero alanı | ICP ziyaretçileri daha fazla hemen çıkıyor | 3 | 2 | 2 | 7 | 10 | Fikir |
Yüksek puan alan ama 12 haftadan fazla süre gerektiren fikirler, klasik bir A/B testinden çok kontrol grubu karşılaştırması ya da kişiselleştirme kuralı için daha uygun adaylardır. Hangi yöntemin ne zaman uygun olduğunu görmek için A/B testi ve çok değişkenli test karşılaştırmasına bakın.
Sıkça Sorulan Sorular
Bir A/B testi planında neler olmalı?
Gerekçesiyle bir hipotez, tam tanımıyla tek bir birincil metrik, koruma metrikleri, kitle ve bölme, başlangıç oranı, saptanabilir minimum etki, örneklem büyüklüğü, süre ve durdurma, kapatma ve karar kuralları. Planın testin kaydına dönüşmesi için bir sonuçlar bölümü ekleyin.
Deney planı ile test özeti arasındaki fark nedir?
Bu terimler birbirinin yerine kullanılır. Bazı ekipler tasarımcıya gönderilen tasarım ve metin talebi için "brief", istatistiksel kurulum için "plan" der. Bu şablon, kreatif değişikliğin hipotez bölümünde açıklandığı şekilde her ikisini de kapsar.
Bir B2B A/B testi ne kadar sürmeli?
Hesapladığınız örneklem büyüklüğüne ulaşana kadar ve en az bir tam hafta boyunca. Birçok B2B sayfası dört ila on iki hafta gerektirir. Hesaplama bir çeyrekten uzun sürmesi gerektiğini söylüyorsa, testi erken durdurmak yerine testi değiştirin.
Her küçük test için plan yazmalı mıyım?
Evet, ancak bir düğme metni testi için plan beş satır olabilir. Durdurma kuralı ve birincil metrik asla atlamamanız gereken iki bölümdür, çünkü rastgele bir dalgalanmayı kazanç olarak ilan etmenizi önleyen onlardır.