Różnica między testem A/B a testem wielowymiarowym polega na tym, co każdy z nich porównuje. Test A/B porównuje dwie wersje strony. Test A/B/n porównuje trzy lub więcej kompletnych wersji. Test wielowymiarowy (MVT) zmienia jednocześnie kilka elementów, takich jak nagłówek, obraz hero i CTA, i testuje każdą kombinację (czasem nazywa się to wielowymiarowym testem A/B), aby ustalić, które elementy i która kombinacja napędzają konwersje.
Na stronach B2B ruch zwykle wybiera za Ciebie. Każdy dodatkowy wariant lub kombinacja dzieli odwiedzających jeszcze bardziej, a wymagana próba rośnie szybciej, niż podpowiada intuicja. Poniżej cztery rodzaje testów, które zespoły B2B faktycznie prowadzą (A/B, A/B/n, wielowymiarowe i testy personalizacji kierowane do segmentów), ile każdy kosztuje w ruchu na jednym przykładzie, tabela decyzyjna i przykłady testów pasujących do każdego rodzaju.
Cztery typy testów w skrócie
| Typ testu | Co porównuje | Na jakie pytanie odpowiada | Koszt ruchu |
|---|---|---|---|
| A/B | Wersja kontrolna kontra jeden wariant | Czy ta wersja jest lepsza od obecnej? | Najniższa |
| A/B/n | Grupa kontrolna kontra 2+ kompletne warianty | Które z tych podejść jest najlepsze? | Rośnie z każdym wariantem, plus kara za wielokrotne porównania |
| Test wielowymiarowy (MVT) | Każda kombinacja kilku elementów | Które elementy mają znaczenie i czy wchodzą w interakcje? | Najwyższa, zwłaszcza przy interakcjach |
| Test targetowany na segment (personalizacja) | Spersonalizowane doświadczenie a grupa kontrolna w ramach jednego segmentu | Czy dopasowanie tej strony do tego segmentu działa? | Zależy od ruchu w segmencie i wielkości grupy kontrolnej |
Matematyka ruchu stojąca za testem A/B i testem wielowymiarowym
Wszystkie poniższe liczby wykorzystują standardowy wzór na wielkość próby dla dwóch proporcji (wariancja łączna) przy poziomie ufności 95%, teście dwustronnym i mocy 80%, obliczone w Node.js. Metoda i pełne tabele są w naszym wpisie o wielkości próby w teście A/B. Te same obliczenia dla własnej strony wykonasz w naszym kalkulatorze wielkości próby testu A/B, który stosuje poprawkę Bonferroniego dla testów A/B/n.
Przykład (liczby poglądowe): strona demo konwertuje na poziomie 3%, a chcesz wykryć względny wzrost o 20% (z 3,0% do 3,6%). Prosty test A/B potrzebuje 13 914 odwiedzających na wariant, czyli łącznie 27 828.
A/B/n: więcej wariantów, surowsze progi
Przy trzech wariantach testowych wobec jednej kontroli robisz trzy porównania i rośnie szansa, że przynajmniej jeden zwycięzca będzie fałszywy. Najprostsza korekta (Bonferroniego) dzieli alfę przez liczbę porównań, więc każde porównanie jest testowane na poziomie 0,05 / 3 = 0,0167. To podnosi próbę na wariant z 13 914 do 18 559, a łączną z 27 828 do 74 236 dla czterech wariantów – mniej więcej 2,7 raza więcej ruchu niż w teście A/B.
Test wielowymiarowy: kombinacje się mnożą
Teraz przetestuj trzy elementy w dwóch wersjach każdy (nagłówek A lub B, obraz A lub B, CTA A lub B). Pełny układ czynnikowy ma 2 × 2 × 2 = 8 komórek. Jeśli chcesz porównać każdą kombinację z grupą kontrolną, jak domyślnie robi to większość raportów MVT, każda komórka potrzebuje pełnej próby: 8 × 13 914 = 111 312 odwiedzających bez żadnej korekty albo 8 × 22 112 = 176 896 odwiedzających z poprawką Bonferroniego dla siedmiu porównań.
To najgorszy scenariusz. Układ czynnikowy jest w rzeczywistości efektywny dla efektów głównych. Aby oszacować efekt nagłówka, porównujesz cztery komórki z nagłówkiem A z czterema z nagłówkiem B, co wykorzystuje cały ruch. Jeśli elementy nie wchodzą w interakcje, 27 828 odwiedzających powie Ci coś o wszystkich trzech elementach naraz. W praktyce przeprowadziłeś wtedy trzy testy A/B równolegle. Przydatne, ale nie dlatego większość zespołów wybiera MVT.
Zespoły zwykle prowadzą testy MVT, aby znaleźć interakcje („ten nagłówek działa tylko z tym obrazem”) i najlepszą kombinację. Interakcje są kosztowne. Często cytowana notatka Andrew Gelmana, You need 16 times the sample size to estimate an interaction than to estimate a main effect, wyjaśnia dlaczego: estymacja interakcji ma dwukrotnie większy błąd standardowy niż efekt główny, a jeśli interakcja jest o połowę mniejsza od efektu głównego (jego założenie), potrzebujesz 16 razy większej próby przy tej samej mocy. W naszym przykładzie to około 445 000 odwiedzających.
Co to oznacza w miesiącach
| Projekt (bazowo 3%, MDE 20%) | Łączna liczba odwiedzających | Miesiące przy 5000/mies. | Miesiące przy 20 000/mies. |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| A/B/n z 4 wariantami (Bonferroni) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, każda komórka vs grupa kontrolna (bez korekty) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, każda komórka kontra kontrola (Bonferroni) | 176,896 | 35.4 | 8.8 |
| Interakcja w MVT, o połowę mniejsza (reguła 16x) | 445,248 | 89.0 | 22.3 |
Na stronie z 20 000 odwiedzających miesięcznie test wielowymiarowy 2×2×2, który odczytuje każdą kombinację, po uwzględnieniu korekty zajmuje większą część roku. Przy 5000 zajmuje lata. Nasze zdanie: testy wielowymiarowe rzadko są praktyczne na stronach B2B, a twierdzenie w rodzaju „przeprowadziliśmy test MVT i wygrała kombinacja 6” przy kilku tysiącach odwiedzających miesięcznie zasługuje na dokładne sprawdzenie próby, zanim ktokolwiek na tej podstawie zadziała.
Co większość zespołów robi źle
Typowy błąd to wybór rodzaju testu według ambicji, a nie pytania. Zespoły wybierają MVT, bo mają wiele pomysłów, a nie dlatego, że muszą wiedzieć, czy pomysły na siebie wpływają. Wybierają A/B/n z pięcioma wariantami, bo nikt nie potrafił zgodzić się na jeden. Oba wybory dzielą ograniczony ruch na zbyt cienkie plasterki, by dało się je odczytać.
Drugi błąd to testowanie elementów, gdy prawdziwe pytanie dotyczy odbiorców. Na stronie B2B to, co konwertuje, często bardziej zależy od tego, kto patrzy, niż od tego, jaki nagłówek widzi. Kupujący z branży produkcyjnej i założyciel firmy SaaS potrzebują innych dowodów. Testowanie nagłówka A i B dla wszystkich uśrednia te grupy i może ukryć wariant, który mocno wygrywa w jednym segmencie, a przegrywa w innym. To argument za testami personalizacji targetowanymi na segmenty.
Tabela decyzyjna: który test przeprowadzić
| Sytuacja | Miesięczna liczba odwiedzających stronę | Zmienione elementy | Rekomendowany test |
|---|---|---|---|
| Jedna jasna hipoteza, duża zmiana | Dowolny, także poniżej 5000 | Jedna koncepcja (może dotyczyć kilku elementów) | A/B |
| Dwa lub trzy naprawdę różne podejścia | 15,000+ | Koncepcje całych stron | A/B/n z maksymalnie 3 wariantami |
| Musisz wiedzieć, czy elementy wpływają na siebie nawzajem | 100,000+ | 2–3 elementy, po 2 wersje każdy | Test wielowymiarowy (pełny układ czynnikowy) |
| Różni odbiorcy prawdopodobnie chcą różnych rzeczy | Wystarczający ruch w segmencie | Treści dopasowane do segmentu | Test targetowany na segment a grupa kontrolna |
| Za mały ruch na którąkolwiek z powyższych opcji | Poniżej 2000 | Dowolny | Badania jakościowe, potem test A/B większej zmiany |
Progi ruchu to orientacyjne wartości dla bazowej konwersji 3%. Zanim się zobowiążesz, wylicz własne ze wzoru na wielkość próby.
Przykłady dobrych testów dla każdego typu
Testy A/B
- Formularz demo a natychmiastowa rezerwacja w kalendarzu na stronie demo.
- Hero skupione na funkcjach vs hero skupione na rezultatach na stronie głównej.
- Strona cennika z poziomem „porozmawiaj ze sprzedażą” a opublikowane ceny dla każdego poziomu.
Łączenie kilku elementów w jedną koncepcję jest w teście A/B w porządku. Dowiadujesz się, czy koncepcja wygrywa, a nie który element o tym zdecydował – i zwykle właśnie tę decyzję naprawdę musisz podjąć. Nasz przewodnik po optymalizacji konwersji w B2B omawia, jak ustalać priorytety tych pomysłów.
Testy A/B/n
- Trzy propozycje wartości na płatnym landing page’u o dużym ruchu: szybkość, oszczędność kosztów, ograniczenie ryzyka.
- Trzy oferty CTA: demo, ocena ROI, wycieczka po produkcie. Jak typ oferty zmienia się w zależności od etapu, opisujemy w przewodniku po spersonalizowanych CTA opartych na danych.
Ograniczaj testy A/B/n do trzech wariantów (kontrola plus dwa), chyba że ruch jest wyjątkowo duży, i dbaj o to, by każdy wariant istotnie się różnił, tak by efekty były na tyle duże, by dało się je rozróżnić.
Testy wielowymiarowe
- Nagłówek (2 wersje) × rodzaj social proof (logotypy lub cytat z case study) na stronie głównej o bardzo dużym ruchu – gdy masz konkretny powód, by spodziewać się interakcji między tymi elementami.
Jeśli nie potrafisz nazwać oczekiwanej interakcji, prawdopodobnie nie potrzebujesz testu wielowymiarowego.
Testy personalizacji ukierunkowane na segmenty
- Branżowe hero strony głównej dla odwiedzających z firm z sektora usług finansowych w porównaniu z hero domyślnym.
- Dowody dla enterprise (bezpieczeństwo, skala) na stronie cennika dla firm powyżej 1000 pracowników vs strona standardowa.
- Powitanie konta docelowego i case study dla kont ABM vs strona ogólna.
Jak testować personalizację względem grupy kontrolnej
Test personalizacji to test A/B prowadzony wyłącznie w obrębie segmentu. Kontrolą jest grupa kontrolna z tego segmentu, która widzi stronę domyślną. Bez niej nie da się oddzielić efektu personalizacji od tego, że segment może po prostu konwertować inaczej.
- Zdefiniuj segment precyzyjnie, np. „odwiedzający zidentyfikowani jako firmy z sektora usług finansowych zatrudniające 200+ osób”. Tylko ci odwiedzający biorą udział w teście.
- Zmierz miesięczny ruch z segmentu na testowanych stronach. To on, a nie całkowity ruch na stronie, decyduje o czasie trwania.
- Wybierz wielkość grupy kontrolnej. Podział 50/50 najszybciej daje odczyt. Mniejsze grupy kontrolne chronią więcej odwiedzających przed domyślnym doświadczeniem, ale kosztują czas.
- Wybierz konwersję, którą segment faktycznie wykonuje, mierzoną w ramach wizyty lub wizyt danej firmy, a pipeline traktuj jako metrykę ochronną.
- Ustal wielkość próby i czas trwania przed startem i odczytuj wynik tylko dla tego segmentu.
Przykład (liczby poglądowe): segment przynosi 3000 odwiedzających miesięcznie, konwertuje na poziomie 3%, a Ty chcesz wykryć względny wzrost o 30%. Obliczone wersją wzoru dla nierównego podziału (bez łączenia wariancji), przy tym samym poziomie ufności 95% i mocy 80%:
| Udział grupy kontrolnej | Łączna liczba potrzebnych odwiedzających | Miesiące przy 3000/mies. |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
Grupa kontrolna 10% wymaga około 2,5 razy więcej czasu na odczyt niż podział 50/50. Nasza rekomendacja: pierwszy test dla każdego segmentu prowadź w podziale 50/50, by uzyskać czystą odpowiedź, a po wdrożeniu utrzymuj małą stałą grupę kontrolną (10–20%), by śledzić, czy efekt się utrzymuje. Roadmapa testów personalizacji pokazuje, jak ułożyć te testy w kolejności między segmentami. Zacznij od segmentu z największym ruchem i najwyraźniejszą luką w komunikacji, bo da wynik najszybciej. Całkowicie pomiń testy segmentów, które przynoszą tylko kilkaset odwiedzających miesięcznie; przy takim wolumenie nawet podział 50/50 nie da czytelnej odpowiedzi w ciągu roku.
Prowadzenie takich testów z grupą kontrolną wymaga zidentyfikowania segmentu przed wyrenderowaniem strony i podziału tylko w ramach tego segmentu. Testy A/B w Markettailor robią to dla każdego segmentu, wykorzystując segmentację na poziomie firm do decydowania, kto wchodzi do danego testu, więc test dla fintechów widzi wyłącznie odwiedzających z fintechów.
Najczęściej zadawane pytania
Czym różni się test A/B od testu wielowymiarowego?
Test A/B porównuje dwie kompletne wersje strony. Test wielowymiarowy zmienia jednocześnie kilka elementów i testuje wszystkie kombinacje, więc może pokazać, które elementy mają znaczenie i czy wchodzą ze sobą w interakcje – kosztem znacznie większego ruchu.
Czym jest test A/B/n?
Test A/B/n porównuje grupę kontrolną z dwoma lub więcej kompletnymi wariantami jednocześnie. Przydaje się, gdy masz kilka naprawdę różnych podejść, ale każdy dodatkowy wariant potrzebuje własnej próby i surowszego progu istotności.
Ile ruchu potrzeba do testów wielowymiarowych?
W teście 2×2×2 na stronie konwertującej na poziomie 3% odczytanie każdej z 8 kombinacji względem wersji kontrolnej przy wzroście o 20% wymaga mniej więcej od 111 000 do 177 000 odwiedzających, w zależności od korekty na wielokrotne porównania. Wykrycie interakcji może wymagać kilka razy więcej.
Czy testy wielowymiarowe mają sens na stronach B2B?
Rzadko. Większość stron B2B nie ma ruchu, który pozwoliłby w ciągu kilku miesięcy odczytać kombinacje lub interakcje. Testy A/B większych koncepcji i testy personalizacji ukierunkowane na segmenty zwykle szybciej dają jaśniejsze odpowiedzi.
Czy można łączyć testy A/B i wielowymiarowe?
Tak. Częsta kolejność to najpierw test A/B koncepcji, a potem – tylko na stronach o bardzo dużym ruchu – mały test czynnikowy dwóch elementów w zwycięskiej koncepcji, jeśli masz konkretną interakcję do sprawdzenia.