A/B testi ile çok değişkenli test arasındaki fark, her birinin neyi karşılaştırdığıdır. Bir A/B testi bir sayfanın iki versiyonunu karşılaştırır. A/B/n testi üç veya daha fazla eksiksiz versiyonu karşılaştırır. Çok değişkenli test (MVT) ise başlık, hero görseli ve CTA gibi birkaç öğeyi aynı anda değiştirir ve dönüşümleri hangi öğelerin ve hangi kombinasyonun sağladığını öğrenmek için her kombinasyonu test eder (bazen çok değişkenli A/B testi olarak da adlandırılır).
B2B web sitelerinde seçimi genellikle trafik sizin yerinize yapar. Her ek varyant veya kombinasyon ziyaretçilerinizi daha da böler ve gereken örneklem sezgilerin öngördüğünden daha hızlı büyür. Aşağıda B2B ekiplerinin gerçekten yürüttüğü dört test türü (A/B, A/B/n, çok değişkenli ve segment hedefli kişiselleştirme testleri), hesaplanmış bir örnek üzerinden her birinin trafik maliyeti, bir karar tablosu ve her türe uygun test örnekleri yer alıyor.
Bir Bakışta Dört Test Türü
| Test türü | Neyi karşılaştırır | Yanıtladığı soru | Trafik maliyeti |
|---|---|---|---|
| A/B | Kontrol ve tek varyant | Bu sürüm elimizdekinden daha mı iyi? | En düşük |
| A/B/n | Kontrol ve 2+ eksiksiz varyant | Bu farklı yaklaşımlardan hangisi en iyisidir? | Her kolla birlikte büyür, artı çoklu karşılaştırmalar için bir ceza |
| Çok değişkenli (MVT) | Birden fazla öğenin tüm kombinasyonları | Hangi öğeler önemli ve birbirleriyle etkileşiyorlar mı? | En yüksek, özellikle etkileşimler için |
| Segment hedefli (kişiselleştirme) testi | Tek bir segment içinde kişiselleştirilmiş deneyim ve kontrol grubu | Bu sayfayı bu segmente göre uyarlamak işe yarıyor mu? | Segment trafiğine ve kontrol grubu büyüklüğüne bağlı |
A/B Testi ve Çok Değişkenli Testin Arkasındaki Trafik Hesabı
Aşağıdaki tüm rakamlar, Node.js'de hesaplanmış, %95 güven (çift yönlü) ve %80 güç ile standart iki oranlı örneklem büyüklüğü formülünü (birleştirilmiş varyans) kullanır. Yöntem ve tam tablolar A/B testi örneklem büyüklüğü yazımızda yer alıyor. Aynı rakamları kendi sayfanız için, A/B/n testleri için Bonferroni düzeltmesi uygulayan A/B testi örneklem büyüklüğü hesaplayıcımızla çalıştırabilirsiniz.
Örnek (açıklayıcı rakamlar): Bir demo sayfası %3 oranında dönüşüm sağlıyor ve %20'lik göreli bir artışı (%3,0'dan %3,6'ya) tespit etmek istiyorsunuz. Basit bir A/B testi varyant başına 13.914, toplamda 27.828 ziyaretçi gerektirir.
A/B/n: daha fazla kol, daha katı eşikler
Bir kontrol grubuna karşı üç rakip varyantla üç karşılaştırma yaparsınız ve en az bir yanlış kazanan çıkma olasılığı artar. En basit düzeltme (Bonferroni) alfayı karşılaştırma sayısına böler; böylece her karşılaştırma 0,05 / 3 = 0,0167 düzeyinde test edilir. Bu, kol başına örneklemi 13.914'ten 18.559'a, dört kolun toplamını ise 27.828'den 74.236'ya çıkarır; yani A/B testinin yaklaşık 2,7 katı trafik.
Çok değişkenli: kombinasyonlar katlanarak artar
Şimdi her biri iki versiyonlu üç öğeyi test edin (başlık A veya B, görsel A veya B, CTA A veya B). Tam faktöriyel tasarımda 2 × 2 × 2 = 8 hücre vardır. Çoğu MVT raporunun örtük olarak yaptığı gibi her kombinasyonu kontrolle karşılaştırmak istiyorsanız, her hücre tam bir örnekleme ihtiyaç duyar: Herhangi bir düzeltme olmadan 8 × 13.914 = 111.312 ziyaretçi veya yedi karşılaştırma için Bonferroni düzeltmesiyle 8 × 22.112 = 176.896 ziyaretçi.
Bu en kötü senaryodur. Faktöriyel tasarım aslında ana etkiler için verimlidir. Başlık etkisini tahmin etmek için A başlıklı dört hücreyi B başlıklı dört hücreyle karşılaştırırsınız; bu da tüm trafiğinizi kullanır. Öğeler etkileşime girmiyorsa 27.828 ziyaretçi size üç öğenin hepsi hakkında aynı anda bilgi verir. Bu durumda fiilen üç A/B testini paralel yürütmüş olursunuz. Faydalı, ama çoğu ekibin MVT'yi seçme nedeni bu değil.
Ekipler genellikle etkileşimleri ("bu başlık yalnızca şu görselle işe yarıyor") ve tek bir en iyi kombinasyonu bulmak için MVT yürütür. Etkileşimler pahalıdır. Andrew Gelman'ın sıkça alıntılanan notu You need 16 times the sample size to estimate an interaction than to estimate a main effect nedenini gösterir: Bir etkileşim tahmininin standart hatası ana etkininkinin iki katıdır ve etkileşim ana etkinin yarısı büyüklüğündeyse (kendi belirttiği varsayım), aynı güç için 16 kat örnekleme ihtiyaç duyarsınız. Örneğimize uygulandığında bu yaklaşık 445.000 ziyaretçi eder.
Bunun ay olarak karşılığı
| Tasarım (%3 başlangıç değeri, %20 MDE) | Toplam ziyaretçi | Aylık 5.000'de ay sayısı | Ayda 20.000 ile ay sayısı |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| 4 kollu A/B/n (Bonferroni) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, her hücre kontrole karşı (düzeltme yapılmadan) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, her hücre kontrole karşı (Bonferroni) | 176,896 | 35.4 | 8.8 |
| MVT etkileşimi, yarı boyut (16x kuralı) | 445,248 | 89.0 | 22.3 |
Aylık 20.000 ziyaretçili bir sayfada, her kombinasyonu okuyan 2×2×2'lik bir MVT, düzeltmeyle birlikte neredeyse bir yıl sürer. 5.000 ziyaretçide ise yıllar sürer. Bizim görüşümüz: Çok değişkenli test B2B web sitelerinde nadiren pratiktir ve ayda birkaç bin ziyaretçiyle "MVT yaptık ve 6. kombinasyon kazandı" gibi bir iddia, kimse harekete geçmeden önce örnekleme ciddi şekilde bakmayı gerektirir.
Çoğu Ekibin Yanlış Yaptığı Şey
Yaygın hata, test türünü soruya göre değil, hırsa göre seçmektir. Ekipler MVT'yi fikirlerin birbirini etkileyip etkilemediğini bilmeleri gerektiği için değil, çok fikirleri olduğu için seçer. Beş varyantlı A/B/n testini kimse tek bir varyantta anlaşamadığı için seçer. Her iki seçim de sınırlı trafiği okunamayacak kadar ince dilimlere böler.
İkincisi, asıl soru kitlelerle ilgiliyken öğeleri test etmektir. Bir B2B sitesinde neyin dönüşüm sağladığı, çoğu zaman hangi başlığın gösterildiğinden çok kimin baktığına bağlıdır. Bir üretim alıcısı ile bir SaaS kurucusu farklı kanıt noktaları ister. Herkes için A başlığını B başlığına karşı test etmek bu kitlelerin ortalamasını alır ve bir segmentte güçlü şekilde kazanıp diğerinde kaybeden bir varyantı gizleyebilir. Segment hedefli kişiselleştirme testlerinin gerekçesi budur.
Karar Tablosu: Hangi Test Yapılmalı
| Durum | Sayfanın aylık ziyaretçi sayısı | Değiştirilen öğeler | Önerilen test |
|---|---|---|---|
| Tek net hipotez, büyük değişiklik | Her türlü, 5.000'in altı dahil | Tek bir konsept (birkaç öğeye dokunabilir) | A/B |
| İki veya üç gerçekten farklı yaklaşım | 15,000+ | Sayfanın tamamını kapsayan konseptler | En fazla 3 kollu A/B/n |
| Öğelerin birbiriyle etkileşip etkileşmediğini bilmeniz gerekiyor | 100,000+ | Her biri 2 sürümlü 2 ila 3 öğe | Çok değişkenli (tam faktöriyel) |
| Farklı kitleler muhtemelen farklı şeyler istiyor | Segment içinde yeterli trafik | Segmente göre uyarlanmış içerik | Segment hedefli test ve kontrol grubu |
| Yukarıdakilerin hiçbiri için yeterli trafik yok | 2.000'in altında | Herhangi biri | Nitel araştırma, ardından daha büyük bir değişiklik üzerinde A/B testi |
Trafik eşikleri, %3'lük bir referans oran için kabaca verilmiş değerlerdir. Karar vermeden önce kendi değerlerinizi örneklem büyüklüğü formülüyle hesaplayın.
Her Tür İçin İyi Test Örnekleri
A/B testleri
- Demo sayfasında demo formu ve anında takvim randevusu karşılaştırması.
- Ana sayfada özellik odaklı hero ile sonuç odaklı hero karşılaştırması.
- “Satış ekibiyle görüşün” seviyesi olan fiyatlandırma sayfası ile her seviye için fiyatların yayımlandığı sayfa.
Bir A/B testinde birkaç öğeyi tek bir konseptte birleştirmek sorun değildir. Hangi öğenin kazandırdığını değil, konseptin kazanıp kazanmadığını öğrenirsiniz; genellikle vermeniz gereken karar da budur. B2B dönüşüm oranı optimizasyonu rehberimiz bu fikirlerin nasıl önceliklendirileceğini ele alıyor.
A/B/n testleri
- Yüksek trafikli ücretli bir açılış sayfasında üç değer önerisi: hız, maliyet tasarrufu, risk azaltma.
- Üç CTA teklifi: demo, ROI değerlendirmesi, ürün turu. Teklif türünün aşamaya göre nasıl değiştiği için veriye dayalı kişiselleştirilmiş CTA'lar rehberimize bakın.
Trafik alışılmadık derecede yüksek değilse A/B/n testlerini üç kolla (kontrol artı iki) sınırlı tutun ve etkilerin ayrıştırılabilecek kadar büyük olması için her kolu anlamlı şekilde farklı yapın.
Çok değişkenli testler
- Trafiği çok yüksek bir ana sayfada, ikisinin birbirini etkileyeceğini düşünmek için somut bir nedeniniz olduğunda, başlık (2 versiyon) × sosyal kanıt türü (logolar ya da vaka çalışması alıntısı).
Beklediğiniz etkileşimi adlandıramıyorsanız, muhtemelen bir MVT'ye ihtiyacınız yoktur.
Segment hedefli kişiselleştirme testleri
- Finansal hizmetler şirketlerinden gelen ziyaretçiler için sektöre özel ana sayfa hero alanı ve varsayılan hero alanı karşılaştırması.
- 1.000'den fazla çalışanı olan şirketler için fiyatlandırma sayfasında kurumsal odaklı kanıt (güvenlik, ölçek) ile standart sayfanın karşılaştırması.
- ABM hesapları için hedef hesap karşılaması ve vaka çalışması ile genel sayfa.
Kişiselleştirme Bir Holdout Grubuna Karşı Nasıl Test Edilir
Kişiselleştirme testi, yalnızca bir segmentin içinde yürütülen bir A/B testidir. Kontrol, o segmentin varsayılan sayfayı gören bir kontrol grubudur. Kontrol grubu olmadan, kişiselleştirmenin etkisini segmentin zaten farklı dönüşüm göstermesinden ayıramazsınız.
- Segmenti kesin olarak tanımlayın, örneğin “finansal hizmetler sektöründe 200'den fazla çalışanı olan şirketler olarak tanımlanan ziyaretçiler”. Teste yalnızca bu ziyaretçiler girer.
- Test edilen sayfalara gelen aylık segment trafiğini ölçün. Süreyi toplam site trafiği değil, bu belirler.
- Kontrol grubu büyüklüğünü seçin. 50/50 bölme en hızlı okunan sonuçtur. Daha küçük kontrol grupları daha fazla ziyaretçiyi varsayılan deneyimden korur ama zamana mal olur.
- Segmentin gerçekten gerçekleştirdiği bir dönüşümü seçin, ziyaret veya hesabın ziyaretleri üzerinden ölçün ve pipeline'ı bir koruma metriği olarak tutun.
- Örneklem büyüklüğünü ve süreyi lansmandan önce sabitleyin ve sonucu yalnızca o segment için okuyun.
Örnek (temsili rakamlar): bir segment ayda 3.000 ziyaretçi getiriyor, %3 oranında dönüşüm sağlıyor ve %30'luk göreli bir artışı tespit etmek istiyorsunuz. Formülün eşit olmayan dağılımlı (havuzlanmamış) versiyonuyla, yine %95 güven ve %80 güçle hesaplandığında:
| Holdout payı | Gereken toplam ziyaretçi | Ayda 3.000 ile ay sayısı |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
%10'luk bir kontrol grubunun sonuç vermesi, 50/50 bölünmeye göre yaklaşık 2,5 kat daha uzun sürer. Önerimiz: Net bir yanıt almak için her segmentteki ilk testi 50/50 yürütün, ardından etkinin zaman içinde devam edip etmediğini izlemek için yayına aldıktan sonra küçük ve kalıcı bir kontrol grubu (%10 ila %20) tutun. Kişiselleştirme test yol haritası bu testleri segmentler arasında nasıl sıralayacağınızı gösteriyor. En fazla trafiğe ve en belirgin mesaj açığına sahip segmentle başlayın, çünkü en hızlı o sonuç verir. Ayda yalnızca birkaç yüz ziyaretçi getiren segmentlerde segment testlerini tamamen atlayın; bu hacimde 50/50 bölünme bile bir yıl içinde okunabilir bir yanıt vermez.
Bu kontrol grubu testlerini yürütmek, segmenti sayfa oluşturulmadan önce tanımlamayı ve yalnızca o segmenti bölmeyi gerektirir. Markettailor'ın A/B testi özelliği bunu segment bazında yapar ve her teste kimin gireceğine karar vermek için şirket düzeyinde segmentasyon kullanır; böylece bir fintech testi yalnızca fintech ziyaretçilerini görür.
Sıkça Sorulan Sorular
A/B testi ile çok değişkenli test arasındaki fark nedir?
A/B testi, bir sayfanın iki eksiksiz versiyonunu karşılaştırır. Çok değişkenli test ise aynı anda birkaç öğeyi değiştirir ve tüm kombinasyonları test eder; böylece hangi öğelerin önemli olduğunu ve birbirleriyle etkileşip etkileşmediklerini gösterebilir, ancak bunun bedeli çok daha fazla trafiktir.
A/B/n testi nedir?
A/B/n testi, bir kontrolü aynı anda iki veya daha fazla eksiksiz varyantla karşılaştırır. Gerçekten farklı birkaç yaklaşımınız olduğunda faydalıdır, ancak her ek kol kendi örneklemine ve daha katı bir anlamlılık eşiğine ihtiyaç duyar.
Çok değişkenli test için ne kadar trafik gerekir?
%3 dönüşüm sağlayan bir sayfada 2×2×2 test için, 8 kombinasyonun her birini %20'lik bir artış için kontrole karşı okumak, çoklu karşılaştırma düzeltmesine bağlı olarak kabaca 111.000 ila 177.000 ziyaretçi gerektirir. Etkileşimleri tespit etmek bunun birkaç katını gerektirebilir.
Çok değişkenli test B2B web siteleri için değer mi?
Nadiren. Çoğu B2B sayfası, birkaç ay içinde kombinasyonları ya da etkileşimleri okuyabilecek trafiğe sahip değildir. Daha büyük konseptlerin A/B testleri ve segment hedefli kişiselleştirme testleri genellikle daha hızlı ve daha net yanıtlar verir.
A/B testi ile çok değişkenli test birleştirilebilir mi?
Evet. Yaygın bir sıralama, önce konseptleri A/B testine tabi tutmak, ardından yalnızca çok yüksek trafikli sayfalarda ve kontrol etmeniz gereken belirli bir etkileşim varsa, kazanan konsept içindeki iki öğe üzerinde küçük bir faktöriyel test yapmaktır.