Hesaplayıcı Nasıl Çalışır
Örneklem büyüklüğü sekmesi, iki dönüşüm oranını çift yönlü iki oranlı z testiyle karşılaştırmak için standart formülü kullanır:
varyant başına n = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1, test ettiğiniz sayfa ve hedef için temel dönüşüm oranınızdır.
- p2, referans oranın (1 + tespit edilebilir en küçük etki) ile çarpımıdır.
- p̄, p1 ve p2'nin ortalamasıdır.
- zα/2 %95 güvende 1,96'dır, zβ ise %80 güçte 0,84'tür.
Birden fazla varyant olduğunda hesaplayıcı, alfayı kontrol grubuyla yapılan karşılaştırma sayısına böler (Bonferroni düzeltmesi); bu da genel yanlış pozitif oranını seçtiğiniz güven düzeyinde tutar. A/B testi örneklem büyüklüğü rehberimiz formülü, yaygın B2B dönüşüm oranları için tablolarla adım adım anlatıyor.
Uygulamalı Örnek
Temsili rakamlar: bir demo talep sayfası %3 dönüşüm sağlıyor ve haftada 2.000 ziyaretçi alıyor. Yeni bir başlığın dönüşümü en az %20 artırıp artırmadığını bilmek istiyorsunuz, yani p2 %3,6. Hesaplayıcı varyant başına yaklaşık 13.900, toplamda 27.800 ziyaretçi verir; bu da 14 haftalık trafik demektir. Birçok B2B sayfası için dürüst yanıt budur ve aracın bir çeyrekten uzun süren her testi işaretlemesinin nedeni de budur.
Süreyi kısaltmanın üç yolu: daha cesur bir değişikliği test edin ve tespit edilebilir minimum etkiyi %30 veya üzerine çıkarın, demo sayfasına tıklamalar gibi daha sık gerçekleşen bir olayı ölçün ya da testi daha yüksek trafikli bir sayfada yürütün. Bir A/B testi ile aynı anda birkaç öğeyi test etme arasında seçim yapıyorsanız, önce A/B testi ve çok değişkenli test karşılaştırması yazımızı okuyun; çünkü çok değişkenli testler çok daha fazla trafik gerektirir.
Bir Anlamlılık Sonucunu Okumak
Anlamlılık sekmesi tamamlanmış iki kolu karşılaştırır. Kontrol grubunun 5.000 ziyaretçi ve 150 dönüşüm (%3,0), varyantın ise 5.000 ziyaretçi ve 190 dönüşüm (%3,8) aldığını varsayalım. Göreli artış %26,7, p değeri yaklaşık 0,027'dir ve farkın %95 güven aralığı yaklaşık 0,1 ile 1,5 yüzde puan arasındadır. Sonuç anlamlıdır, ancak aralık geniştir: Gerçek artış küçük olabilir. Ölçülen artışı, özellikle test erken durdurulduysa, yukarı yönlü bir tahmin olarak değerlendirin.
Düşük trafikli bir B2B sitesinde önce neyin test edileceği için dönüşüm oranı optimizasyonu rehberimizin test bölümüne bakın. Tek sayfa değişiklikleri yerine kişiselleştirilmiş deneyimleri test ediyorsanız, Markettailor'ın A/B testi özelliği her ziyaretçi segmenti için kontrol grupları çalıştırır.
Sıkça Sorulan Sorular
Bir A/B testi için kaç ziyaretçiye ihtiyacım var?
Bu, temel dönüşüm oranınıza ve tespit etmek istediğiniz en küçük artışa bağlıdır. %3'lük bir temel oranda, %95 güven ve %80 güç ile %20'lik göreli bir artışı tespit etmek varyant başına yaklaşık 13.900 ziyaretçi gerektirir. Tespit etmek istediğiniz artışı yarıya indirmek, örneklemi kabaca dört katına çıkarır.
Bir A/B testi için istatistiksel anlamlılık nasıl hesaplanır?
Bu hesaplayıcı çift yönlü iki oranlı bir z-testi kullanır. Gerçek bir fark olmasaydı beklenecek gürültüyü tahmin etmek için iki kolu birleştirir, gözlemlenen dönüşüm oranı farkını bu standart hataya böler ve ortaya çıkan z-skorunu bir p-değerine dönüştürür. 0,05'in altındaki bir p-değeri %95 güvenle anlamlıdır.
Bir A/B testi ne kadar sürmeli?
Lansmandan önce hesaplanan örneklem büyüklüğüne ulaşana kadar ve hem hafta içi hem hafta sonu davranışının dahil edilmesi için en az bir tam hafta. Yukarıdaki süre tahmini, toplam örneklemi test edilen sayfaya gelen haftalık trafiğinize böler.
Bir A/B testini anlamlı hâle gelir gelmez durdurabilir miyim?
Hayır. Sonuçları tekrar tekrar kontrol edip ilk anlamlı okumada durmak, yanlış pozitif oranını %5'in çok üzerine çıkarır. Örneklem büyüklüğüne önceden karar verin ve sonuca bu büyüklüğe ulaşıldığında bakın ya da ardışık test gibi sürekli izleme için tasarlanmış bir yöntem kullanın.
B2B sitemin A/B testi için yeterli trafiği yoksa ne olacak?
Daha büyük değişiklikleri test edin, daha sık gerçekleşen bir dönüşüm olayı seçin (örneğin ayarlanan demolar yerine demo sayfasına tıklamalar), en yüksek trafikli şablonunuzda test edin ya da daha uzun bir testi kabul edin. Bir test bir çeyrekten uzun sürecekse, bunun yerine nitel araştırma ve kontrol grubu karşılaştırmaları kullanın.