A/B testi örneklem büyüklüğü formülü, dönüşüm oranındaki bir farkın bir anlam ifade etmesi için her varyantın kaç ziyaretçiye ihtiyaç duyduğunu söyler. %95 güven düzeyi ve %80 güçte standart çift taraflı bir test için varyant başına yaklaşık n = (1,96 + 0,84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)² ziyaretçiye ihtiyacınız vardır; burada p1 başlangıç oranınız, p2 ise tespit etmeyi umduğunuz orandır.
Bu formülü gerçek B2B rakamlarıyla çalıştırdığınızda sonuç rahatsız edicidir. %3 dönüşüm sağlayan bir sayfa, %20'lik göreli bir artışı güvenilir şekilde tespit etmek için varyant başına yaklaşık 14.000 ziyaretçiye ihtiyaç duyar. Pek çok B2B sayfası bir çeyrekte bu kadar ziyaretçi görmez. Aşağıda: formülün girdileri tek tek, bir dizi temel oran için hesaplanmış tablolar, belirli bir trafik düzeyinde bir testin ne kadar sürdüğü ve yanıt "sekiz ay" olduğunda ne yapılması gerektiği.
Tutumumuz: B2B A/B Testlerinin Çoğu Yetersiz Güçtedir
Önce matematiğin desteklediği görüş. Bizce B2B A/B testlerinin çoğu yeterli veriye ulaşmadan çok önce durduruluyor ve ürettikleri "kazananların" birçoğu gürültüden ibaret. Tablo şöyle: üç haftalık bir test, %25 önde giden bir varyant, yeşil bir rozet, yayına alınan bir değişiklik ve altı ay sonra satış fırsatlarında görünür hiçbir artış yok.
Gücü yetersiz testler gerçek etkileri kaçırır ve test slotunu boşa harcar. Daha kötüsü, gücü yetersiz bir test anlamlılık çizgisini aştığında, ölçülen artış genellikle olduğundan büyüktür, çünkü çizgiyi yalnızca şanslı çekilişler geçebilir. İstatistikçiler buna büyüklük (M tipi) hatası der. Ekip hiçbir etkisi olmayabilecek bir değişikliği yayına alır ve CRO raporlamasına şişirilmiş bir sayı da yazar. Testi başlatmadan önce örneklem büyüklüğünü hesaplamak en ucuz korumadır.
A/B Testi Örneklem Büyüklüğü Formülü
İki dönüşüm oranını karşılaştırmak için standart formül (iki oranlı z-testi) şöyledir:
varyant başına n = [ zα/2 × √(2 × p̄ × (1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
Her girdinin sade bir anlamı vardır:
- p1 (temel dönüşüm oranı): test ettiğiniz sayfanın ve hedefin mevcut dönüşüm oranı. Site geneli bir ortalama değil, son 4 ila 8 haftaya ait, tam olarak o dönüşüm olayı ve o sayfa için oranı kullanın.
- p2 (hedef oran): başlangıç oranının (1 + MDE) ile çarpımı. %3 başlangıç oranı ve %20 göreli MDE ile p2 = %3,6.
- MDE (minimum tespit edilebilir etki): tespit etmeyi önemsediğiniz en küçük göreli artış. Bu istatistiksel değil, ticari bir karardır. Daha küçük MDE'ler çok daha fazla trafik gerektirir, çünkü fark (p2 − p1) paydada karesi alınarak yer alır. MDE'yi yarıya indirirseniz örneklem kabaca dört katına çıkar.
- p̄ (birleşik oran): p1 ve p2'nin ortalaması. Gerçek bir fark olmadığı varsayımı altındaki gürültüyü tanımlar.
- zα/2 = 1,96: %5'lik bir yanlış pozitif oranına (alfa 0,05) karşılık gelir; varyant daha iyi ya da daha kötü olabileceği için her iki kuyruğa bölünür.
- zβ = 0,8416: %80 güce karşılık gelir; yani gerçek artış MDE'nize eşitse test onu zamanın %80'inde tespit eder. Kalan %20'de gerçek bir kazananı kaçırırsınız.
Birçok hesaplayıcı ilk paragrafta gösterilen basitleştirilmiş havuzlanmamış versiyonu kullanır. B2B dönüşüm oranlarında ikisi arasındaki fark yalnızca birkaç ziyaretçidir. A/B testi hesaplayıcımız yukarıdaki havuzlanmış formülü kullanır ve test süresini de tahmin eder.
Adım Adım Çözümlü Örnek
Örnek (açıklayıcı rakamlar): Bir demo talep sayfası %3 oranında dönüşüm sağlıyor. %20'lik göreli bir artışı tespit etmek istiyorsunuz.
- Oranları belirleyin: p1 = 0,030, p2 = 0,030 × 1,2 = 0,036. Mutlak fark 0,006'dır.
- Birleşik oran: p̄ = (0,030 + 0,036) / 2 = 0,033.
- İlk terim: √(2 × 0,033 × 0,967) = √0,06382 = 0,2526. 1,96 ile çarpın: 0,4951.
- İkinci terim: p1(1−p1) = 0,0291 ve p2(1−p2) = 0,0347. √(0,0638) = 0,2526. 0,8416 ile çarpın: 0,2126.
- Toplayın ve karesini alın: (0,4951 + 0,2126)² = 0,7077² = 0,5009.
- Farkın karesine bölün: 0,5009 / 0,006² = 0,5009 / 0,000036 = varyant başına 13.914 ziyaretçi.
Yani test, sonucu okumadan önce toplamda yaklaşık 27.800 ziyaretçiye ve yalnızca kontrol kolunda kabaca 417 dönüşüme (13.914 × %3) ihtiyaç duyar. Çapraz kontrol olarak, basitleştirilmiş birleştirilmemiş formül varyant başına 13.911, arksinüs (Cohen's h) yaklaşımı ise yaklaşık 13.890 verir. Üç yöntem %0,2 içinde örtüşür.
B2B Dönüşüm Oranları İçin Örneklem Büyüklüğü Tablosu
Aşağıdaki tablo, yukarıdaki havuzlanmış formülü (alfa 0,05 çift yönlü, güç 0,8) %1 (örneğin yoğun bir sayfadaki tüm ziyaretçilere oranla demo talepleri) ile %10 (örneğin CTA tıklaması gibi bir mikro dönüşüm) arasındaki temel oranlara uygular. Kendi temel oranınızı kullanın; bu satırlar yalnızca referans noktalarıdır. Değerler varyant başına ziyaretçi sayısıdır; Node.js ile hesaplanmış ve yukarı yuvarlanmıştır.
| Temel dönüşüm oranı | %10 göreli MDE | %20 göreli MDE | %30 göreli MDE | %50 göreli MDE |
|---|---|---|---|---|
| 1% | 163,095 | 42,693 | 19,827 | 7,750 |
| 2% | 80,682 | 21,109 | 9,798 | 3,826 |
| 3% | 53,211 | 13,914 | 6,455 | 2,518 |
| 5% | 31,234 | 8,158 | 3,780 | 1,471 |
| 10% | 14,751 | 3,841 | 1,774 | 686 |
%10 MDE'den %50 MDE'ye geçmek, gereken örneklemi yaklaşık 20 kat azaltır. Temel oranı iki katına çıkarmak ise yaklaşık yarıya indirir. Trafiği hızla değiştiremezsiniz, ancak test ettiğiniz değişikliğin büyüklüğünü ve ölçtüğünüz dönüşümü seçebilirsiniz; küçük bir sitede önemli olan iki kaldıraç da bunlardır.
Test Ne Kadar Sürecek?
Süre, gereken toplam ziyaretçi sayısının (her iki varyant) test edilen sayfaya gerçekten ulaşan aylık ziyaretçi sayısına bölünmesiyle bulunur. Tablo, üç trafik düzeyinde 50/50 bölme için gereken ay sayısını gösteriyor.
| Sayfanın aylık ziyaretçi sayısı | Başlangıç değeri | %10 MDE | %20 MDE | %30 MDE | %50 MDE |
|---|---|---|---|---|---|
| 2,000 | 2% | 80.7 | 21.1 | 9.8 | 3.8 |
| 2,000 | 3% | 53.2 | 13.9 | 6.5 | 2.5 |
| 2,000 | 5% | 31.2 | 8.2 | 3.8 | 1.5 |
| 5,000 | 2% | 32.3 | 8.4 | 3.9 | 1.5 |
| 5,000 | 3% | 21.3 | 5.6 | 2.6 | 1.0 |
| 5,000 | 5% | 12.5 | 3.3 | 1.5 | 0.6 |
| 20,000 | 2% | 8.1 | 2.1 | 1.0 | 0.4 |
| 20,000 | 3% | 5.3 | 1.4 | 0.6 | 0.3 |
| 20,000 | 5% | 3.1 | 0.8 | 0.4 | 0.1 |
Tablo ne derse desin, hafta içi ve hafta sonu davranışlarının ve olası kampanya artışlarının her iki kolda da temsil edilmesi için her testi en az iki tam hafta yürütün. Üç ayı aşan her testi de muhtemelen mevcut hâliyle yürütmemeniz gereken bir test olarak değerlendirin: Sayfa içeriği, kampanyalar ve trafik karması bu süre içinde kayar ve sonuç artık var olmayan bir siteyi tanımlar.
Aylık 5.000 ziyaretçi ve %3'lük başlangıç oranıyla %50'lik bir artış yaklaşık bir ayda okunabilir, %10'luk bir artış ise neredeyse iki yıl sürer. Kimse bir sayfayı iki yıl boyunca değiştirmeden tutmaz; bu yüzden ikinci test erken durdurulacak ve bir anlam taşıyormuş gibi yorumlanacaktır.
Çoğu Ekibin Yanlış Yaptığı Şey
- Süre tahmininde site genelindeki trafiği kullanmak. Yalnızca test edilen öğeye ulaşan ziyaretçiler sayılır. 20.000 ziyaretçili bir sitedeki fiyatlandırma sayfası testi ayda yalnızca 2.000 uygun ziyaretçi görebilir.
- MDE'yi testten sonra seçmek. Lansmandan önce MDE'yi %30 olarak belirlediyseniz ve test %12 gösteriyorsa, elinizde %12'lik bir kazanan yoktur. Sonuçsuz bir testiniz vardır.
- Sonuçlara erkenden bakmak ve ilk yeşil rozette testi durdurmak. Evan Miller'ın How Not To Run an A/B Test başlıklı analizi, tekrarlanan anlamlılık testlerinin yanlış pozitif oranını her zaman artırdığını gösteriyor. Onun örneğinde (%50'lik bir başlangıç oranı, hiçbir etkisi olmayan bir değişiklik, sonuç %5 anlamlılığa ulaşır ulaşmaz ya da 150 gözlemden sonra durdurma) yanlış pozitif oranı nominal %5 yerine %26,1 çıkıyor.
Rakamlar Aylar Dediğinde: Yedi Seçenek
1. Daha büyük değişiklikleri test edin
Örneklem büyüklüğünü azaltmanın en ucuz yolu MDE'yi dürüstçe yükseltmektir; bu da onu makul ölçüde üretebilecek kadar büyük değişiklikleri test etmek demektir: yeni bir değer önermesi, farklı bir teklif (iletişim formu yerine anında randevu), genel bir sayfa yerine tek bir sektöre göre uyarlanmış bir sayfa. B2B dönüşüm oranı optimizasyonu rehberimiz, test fikirlerinin beklenen etki büyüklüğüne göre nasıl sıralanacağını ele alıyor.
2. Daha yüksek trafikli sayfalarda test edin
Ana sayfa, en çok okunan blog yazıları ve yüksek hacimli açılış sayfaları size ayda daha fazla ziyaretçi sağlar (hangi sayfaların en çok karar aşaması trafiği taşıma eğiliminde olduğu için B2B açılış sayfası optimizasyonu notlarımıza bakın). Birçok sayfanın paylaştığı bir şablon (tüm çözüm sayfaları, tüm blog yazıları) üzerinde yapılan test, bu sayfaların trafiğini tek bir deneyde toplar.
3. Mikro dönüşümleri dikkatli kullanın
CTA tıklamaları ya da form başlatma gibi mikro dönüşümlerin başlangıç oranları daha yüksektir; bu yüzden tablonun %2 satırı yerine %10 satırı geçerlidir. Püf noktası şu: bir varyant tıklamaları artırıp nitelikli demoları azaltabilir. Mikro dönüşümü yalnızca makro hedefle birlikte hareket ettiğine dair kanıtınız varsa karar metriği olarak kullanın ve makro dönüşümü her zaman bir koruma metriği olarak onunla birlikte raporlayın.
4. Segmentleri birleştirin, sonra ayırın
Her segment için ayrı testler yürütmek trafiğinizi böler. Segmentler genelinde tek bir test yürütün, ardından segment düzeyindeki sonuçlara yalnızca yön gösterici olarak bakın. Segmente özel bir yanıta ihtiyacınız varsa, test yalnızca o segmentin trafiğine göre boyutlandırılmalıdır. 90 günlük kişiselleştirme test yol haritası, segment testlerini her biri yeterli trafik alacak şekilde nasıl sıralayacağınızı gösteriyor.
5. Sıralı test kullanın
Sıralı tasarımlar (önceden planlanmış ara bakışlara sahip grup sıralı testler veya bazı test araçlarına yerleşik her zaman geçerli yöntemler), test sırasında sonuçları kontrol etmenize ve etki büyük olduğunda yanlış pozitifleri artırmadan erken durdurmanıza olanak tanır. Bedeli, test sonuna kadar çalışırsa biraz daha büyük bir maksimum örneklemdir. Bu, ara sonuçlara göz atmanın meşru versiyonudur. Bir test aylar sürecekse, bütçeyi önce oturum kayıtları ve form analitiği gibi teşhis amaçlı CRO araçlarına harcayın.
6. Net beklentilerle Bayesçi bir yaklaşımı değerlendirin
Bayesçi A/B testi, B'nin A'yı geçme olasılığını ve yanlış olanı seçerseniz beklenen kaybı raporlar. Bu, p-değerine göre üzerine aksiyon almak için daha kolaydır ve “daha iyi olma olasılığı %90'ın üzerinde ve beklenen kayıp 0,1 yüzde puanının altındaysa yayına al” gibi açık kararlar vermenizi sağlar. Geri alınabilir değişiklikler için bu riski kabul etmek çoğu zaman mantıklıdır.
Bayesçi yöntemlerin yapmadığı şey bilgi yaratmaktır. Zayıf ön dağılımlarla, %20'lik bir artıştan emin olmak için gereken veri, frekansçı tablodakiyle hemen hemen aynıdır. Çok küçük bir örneklemde %90'lık bir “kazanma olasılığı” yine kırılgandır ve bunu bir durdurma kuralıyla her gün kontrol etmek, pratikte hata oranını yine artırır. Bayesçi test, belirsizliği nasıl ifade ettiğinizi ve nasıl karar verdiğinizi değiştirir. Belirsizliği küçültmez.
7. Ara sonuçlara bakmayın ya da bakışlarınızı planlayın
Örneklem büyüklüğünü yayından önce belirleyin, test özetine yazın ve ona ulaşana kadar testi sonuçlandırmayın. Paydaşlar ara güncellemelere ihtiyaç duyuyorsa, gelişigüzel kontroller yerine baştan sıralı bir tasarım kullanın. Deney planı şablonumuzda bu kararların her biri için bir alan var.
Lansman Öncesi Kontrol Listesi
- Tam olarak ilgili sayfa ve dönüşüm için başlangıç oranını ve aylık uygun ziyaretçi sayısını alın (son 4 ila 8 hafta).
- MDE'yi değişikliğin büyüklüğüne göre seçin ve yazıya dökün.
- Varyant başına n'yi formülle veya yukarıdaki tabloyla hesaplayın, ardından süreyi.
- Süre yaklaşık üç ayı aşıyorsa testi yeniden tasarlayın (daha büyük değişiklik, daha yüksek trafikli sayfa veya bir koruma metriğiyle birlikte daha yüksek referans oranlı bir metrik).
- Durdurma kuralını belirleyin: sabit örneklem veya önceden planlanmış ara değerlendirmelerle sıralı bir plan.
B2B ekipleri için en büyük etki büyüklükleri genellikle tek bir sayfayı herkes için cilalamaktan değil, farklı ziyaretçilere farklı içerik göstermekten gelir; çünkü bir segment için yazılmış bir mesaj, yeni bir düğme renginden daha büyük bir değişikliktir. Basit bir bölünmüş test ile birkaç varyantlı veya faktörlü bir test arasında karar veriyorsanız, aynı örneklem büyüklüğü hesabını A/B/n ve çok değişkenli tasarımlara uygulayan A/B testi ve çok değişkenli test karşılaştırmamızı okuyun.
Segmente özel deneyimler üzerinde test yapmaya hazır olduğunuzda, Markettailor'ın kişiselleştirilmiş sayfalar için A/B testi özelliği her segmenti bir kontrol grubuna karşı bölmenize ve sonucu segment bazında izlemenize olanak tanır; böylece planladığınız örneklem büyüklüğü elde ettiğiniz örneklem büyüklüğü olur.
Sıkça Sorulan Sorular
A/B testi örneklem büyüklüğü formülü nedir?
İki dönüşüm oranı için varyant başına n = [1,96 × √(2p̄(1−p̄)) + 0,8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)²; burada p1 başlangıç oranı, p2 hedef oran ve p̄ bunların ortalamasıdır. Bu, %95 güven (çift yönlü) ve %80 güç varsayar.
%2 dönüşüm oranıyla bir A/B testi için kaç ziyaretçiye ihtiyacım var?
%95 güven ve %80 güçte, %20'lik göreli artışı tespit etmek için varyant başına yaklaşık 21.100, %30'luk artış için yaklaşık 9.800 ve %50'lik artış için yaklaşık 3.800 ziyaretçi. Toplam test trafiği için bunları ikiyle çarpın.
Bayesyen A/B testi daha küçük bir örneklem gerektirir mi?
Güçlü ve gerekçeli bir ön bilginiz yoksa anlamlı ölçüde hayır. Bayesçi test daha sezgisel çıktılar (kontrolü geçme olasılığı, beklenen kayıp) verir ve risk bazlı kararları destekler, ancak belirli bir artıştan emin olmak için gereken veri miktarı frekansçı hesaplamaya benzerdir.
Bir B2B sitesi hangi minimum tespit edilebilir etkiyi kullanmalı?
MDE'yi hayallerinize göre değil, trafiğinize göre seçin. Sayfanızın trafiğiyle altı ila sekiz haftada neyin saptanabilir olduğunu hesaplayın ve yalnızca bu artışı makul olarak yaratabilecek kadar büyük değişiklikleri test edin. Yukarıdaki süre tablosunda, aylık 5.000 ziyaretçisi ve %3 başlangıç oranı olan bir sayfa, üç ay içinde yalnızca yaklaşık %30 veya daha fazla artışları okuyabilir.
Bir A/B testi zaten anlamlıysa erken durdurabilir miyim?
Standart sabit örneklemli bir testte hayır, çünkü sonuçlara tekrar tekrar bakmak yanlış pozitifleri artırır. Erken durdurma seçeneğine ihtiyacınız varsa, ara analizleri lansmandan önce planlanmış sıralı (sequential) bir test tasarımı kullanın.