A/B testi, ziyaretçilerin bir sayfa, e-posta veya özelliğin iki sürümü (kontrol (A) ve varyant (B)) arasında rastgele bölündüğü ve aralarındaki farkın tesadüfle açıklanabilecek olandan büyük olup olmadığını görmek için önceden tanımlanmış bir metriğin karşılaştırıldığı rastgele kontrollü bir deneydir. Bir değişikliğin bir iyileşmeye denk gelip gelmediğini değil, ona neden olup olmadığını öğrenmenin standart yoludur.
Yöntem çevrim içi ürünlerde yerleşiktir; Kohavi ve meslektaşlarının pratik rehberi hâlâ standart bir başvuru kaynağıdır (Kohavi et al., "Controlled experiments on the web", Data Mining and Knowledge Discovery, 2009).
A/B testi nasıl çalışır
- Hipotez ve metrik. Değişikliği, beklenen etkiyi ve demo talep oranı gibi tek bir birincil metriği belirtin.
- Rastgele atama. Her ziyaretçi rastgele A'ya veya B'ye atanır ve geri dönüş ziyaretlerinde de orada tutulur; böylece gruplar yalnızca değişiklik açısından farklılaşır.
- Örneklem büyüklüğü. Başlangıç oranına, tespit etmeye değer en küçük artışa (minimum tespit edilebilir etki), anlamlılık düzeyine ve güce göre her versiyonun kaç ziyaretçiye ihtiyaç duyduğuna önceden karar verin.
- Çalıştırın. Testin bu örnekleme ulaşmasına izin verin, ideal olarak tam haftalar boyunca. Bir taraf önde görünüyor diye erken durdurmayın.
- Analiz edin. Oranları karşılaştırın. Bir sonuç, gerçekte hiçbir fark olmasaydı bu büyüklükte bir farkın zamanın %5'inden daha azında ortaya çıkacağı durumda %5 düzeyinde istatistiksel olarak anlamlıdır.
İki ayar önemlidir. Anlamlılık düzeyi (genellikle %5, çoğu zaman %95 güven olarak anılır) yanlış pozitifleri kontrol eder. Güç (genellikle %80), etki gerçekse onu tespit etme olasılığıdır; gücü yetersiz bir test çoğunlukla "sonuç yok" üretir.
Örnek
Örnek: bir demo sayfası %3 dönüşüm sağlıyor. %5 anlamlılık düzeyinde ve %80 güçle iki yönlü bir testle %20'lik göreli bir artışı (%3,0'dan %3,6'ya) tespit etmek istiyorsunuz. Standart iki oran formülü şöyledir:
varyant başına n = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- Birinci terim: 1,96 x √(2 x 0,033 x 0,967) = 1,96 x 0,2526 = 0,495
- İkinci terim: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Pay: (0,495 + 0,213)² = 0,501; payda: 0,006² = 0,000036
- n ≈ varyant başına 13.900 ziyaretçi, toplamda yaklaşık 27.800
O sayfaya haftada 2.000 ziyaretçi geliyorsa, test yaklaşık 14 hafta sürer. İşe yarayan çıktı da budur: Hiçbir şey geliştirmeden önce bu sayfanın %20'lik bir artış için makul bir sürede test yürütemeyeceğini bilirsiniz; bu yüzden daha cesur bir değişikliği test eder, daha yüksek trafikli bir sayfa kullanır ya da değişikliği yayına alıp izlersiniz. Bu sayıyı A/B testi hesaplayıcımızla veya Evan Miller'ın örneklem büyüklüğü hesaplayıcısıyla yeniden üretebilirsiniz.
A/B, A/B/n ve çok değişkenli test karşılaştırması
| A/B | A/B/n | Çok değişkenli (MVT) | |
|---|---|---|---|
| Ne değişiyor | Bir kontrol ve bir varyant | Tek kontrol mü, birden fazla varyant mı | Aynı anda birden fazla öğe, her kombinasyon |
| Gereken trafik | En düşük | Her varyantla birlikte büyür | En yüksek: Trafik tüm kombinasyonlara bölünür |
| Yanıtladığı soru | B, A'dan daha mı iyi? | Birkaç versiyondan hangisi en iyi? | Hangi öğe kombinasyonu işe yarıyor ve öğeler birbirini etkiliyor mu? |
| Uyar | Çoğu B2B sayfası | Gerçek trafiği olan başlıklar veya teklifler | Yalnızca yüksek trafikli sayfalar |
Nielsen Norman Group bu ödünleşimi şöyle özetliyor: Çok değişkenli testler yüksek trafikli sayfalarda kademeli iyileştirmelere uygundur, A/B testleri ise birbirinden radikal biçimde farklı tasarımları karşılaştırabilir (NN/g, "Multivariate vs. A/B Testing").
B2B ekipleri A/B testini nasıl kullanıyor
- Demo ve iletişim formunun uzunluğunu ve metnini test etmek.
- Yüksek trafikli açılış sayfalarındaki değer önerilerini ve başlıkları karşılaştırmak.
- Kişiselleştirmeyi doğrulamak: Segmente özel içerik ve genel sayfa, bir kontrol grubuyla.
- Fiyatlandırma sayfası düzeni ve planların sunumu.
- Hacmin izin verdiği yerlerde e-posta konu satırları ve besleme içeriği.
Sıkça Sorulan Sorular
Bir A/B testi ne kadar sürmeli?
Lansmandan önce hesaplanan örneklem büyüklüğüne ulaşana kadar ve tüm hafta günlerinin temsil edilmesi için en az bir tam hafta, tercihen iki hafta. Süreyi tahmin etmek için varyant başına gereken ziyaretçiyi varyant başına haftalık trafiğe bölün. Yanıt birkaç ay çıkıyorsa test bu tasarımla uygulanabilir değildir.
İyi bir minimum tespit edilebilir etki nedir?
Değişikliğin maliyeti göz önüne alındığında harekete geçmeye değecek en küçük artış. Düşük trafikli B2B sayfaları, makul bir sürede tamamlanmak için genellikle daha büyük bir minimum tespit edilebilir etkiye, çoğu zaman göreli %20 veya daha fazlasına ihtiyaç duyar. Daha küçük etkiler gerçek olabilir ama çok daha fazla trafik gerektirir, çünkü örneklem büyüklüğü kabaca etkinin karesiyle ters orantılı olarak artar.
Düşük trafikle A/B testi yapılabilir mi?
Evet, ancak daha büyük değişiklikleri test edin, huninin en yüksek trafikli adımını kullanın ve kapanan anlaşmalar yerine demo sayfasına tıklamalar gibi sık gerçekleşen bir metrik seçin. Bu bile çok yavaş kaldığında değişikliği araştırmaya dayanarak yapın ve öncesini ve sonrasını izleyin; kanıtın daha zayıf olduğunu kabul edin.
İlgili
Testleri A/B testi plan şablonuyla planlayın, A/B testi örneklem büyüklüğüne dair daha ayrıntılı anlatımı okuyun ve A/B testi ve çok değişkenli test yazısıyla bir test tasarımı seçin. Daha kapsamlı süreç için dönüşüm oranı optimizasyonu yazısına bakın.