A/B 테스트와 다변량 테스트의 차이는 각각 무엇을 비교하느냐에 있습니다. A/B 테스트는 페이지의 두 버전을 비교합니다. A/B/n 테스트는 세 개 이상의 완성된 버전을 비교합니다. 다변량 테스트(MVT)는 헤드라인, 히어로 이미지, CTA 같은 여러 요소를 동시에 바꾸고 모든 조합을 테스트해(다변량 A/B 테스트라고도 함), 어떤 요소와 어떤 조합이 전환을 이끄는지 알아냅니다.
B2B 웹사이트에서는 대개 트래픽이 선택을 대신해 줍니다. 변형이나 조합이 하나 늘 때마다 방문자가 더 잘게 나뉘고, 필요한 표본은 직관보다 빠르게 커집니다. 아래에서는 B2B 팀이 실제로 실행하는 네 가지 테스트 유형(A/B, A/B/n, 다변량, 세그먼트 타깃 개인화 테스트), 계산 예시 하나로 본 각 유형의 트래픽 비용, 결정 표, 그리고 유형별로 적합한 테스트 예시를 소개합니다.
네 가지 테스트 유형 한눈에 보기
| 테스트 유형 | 비교 대상 | 답하는 질문 | 트래픽 비용 |
|---|---|---|---|
| A/B | 대조군 vs 변형 하나 | 이 버전이 지금 것보다 나은가? | 가장 낮음 |
| A/B/n | 대조군 vs 완성된 변형 2개 이상 | 이 서로 다른 접근 방식 중 무엇이 가장 좋을까요? | 그룹이 늘어날 때마다 증가하며, 다중 비교에 따른 보정이 추가됨 |
| 다변량 테스트(MVT) | 여러 요소의 모든 조합 | 어떤 요소가 중요하고, 요소 간에 상호작용이 있나요? | 가장 높음, 특히 상호작용 효과의 경우 |
| 세그먼트 타겟(개인화) 테스트 | 한 세그먼트 안에서 개인화 경험 대 홀드아웃 | 이 페이지를 이 세그먼트에 맞추는 것이 효과가 있는가? | 세그먼트 트래픽과 홀드아웃 크기에 따라 다름 |
A/B 테스트 vs 다변량 테스트의 트래픽 계산
아래 모든 수치는 Node.js로 계산했으며, 신뢰수준 95%(양측), 검정력 80%에서 표준 두 비율 표본 크기 공식(합동 분산)을 사용했습니다. 방법과 전체 표는 A/B 테스트 표본 크기 글에 있습니다. A/B/n 테스트에 Bonferroni 보정을 적용하는 A/B 테스트 표본 크기 계산기로 자사 페이지 수치도 계산할 수 있습니다.
예시(설명용 수치): 데모 페이지 전환율이 3%이고 20%의 상대적 향상(3.0%에서 3.6%)을 감지하고 싶다고 합시다. 단순 A/B 테스트에는 변형안당 13,914명, 총 27,828명의 방문자가 필요합니다.
A/B/n: 더 많은 그룹, 더 엄격한 기준
대조군 하나에 도전 버전이 셋이면 비교가 세 번 이루어지고, 잘못된 승자가 하나라도 나올 확률이 높아집니다. 가장 간단한 보정법(Bonferroni)은 알파를 비교 횟수로 나누므로 각 비교는 0.05 / 3 = 0.0167에서 검정됩니다. 그러면 그룹당 표본은 13,914에서 18,559로, 네 그룹 전체 표본은 27,828에서 74,236으로 늘어나 A/B 테스트의 약 2.7배 트래픽이 필요합니다.
다변량 테스트: 조합이 기하급수적으로 늘어납니다
이제 세 가지 요소를 각각 두 가지 버전으로 테스트합니다(헤드라인 A 또는 B, 이미지 A 또는 B, CTA A 또는 B). 완전 요인 설계에는 2 × 2 × 2 = 8개의 칸이 있습니다. 대부분의 MVT 리포트가 암묵적으로 그러듯 각 조합을 대조군과 비교하려면 각 칸에 전체 표본이 필요합니다. 보정 없이 8 × 13,914 = 111,312명, 일곱 번의 비교에 대해 Bonferroni 보정을 적용하면 8 × 22,112 = 176,896명입니다.
이는 최악의 경우입니다. 요인 설계는 사실 주효과를 추정하는 데 효율적입니다. 헤드라인 효과를 추정하려면 헤드라인 A가 적용된 네 칸과 헤드라인 B가 적용된 네 칸을 비교하므로 모든 트래픽을 활용합니다. 요소 간 상호작용이 없다면 방문자 27,828명으로 세 요소 모두에 대해 한 번에 알 수 있습니다. 이 경우 사실상 세 개의 A/B 테스트를 동시에 진행한 셈입니다. 유용하지만, 대부분의 팀이 MVT를 선택하는 이유는 아닙니다.
팀들은 보통 상호작용(“이 헤드라인은 저 이미지와 함께일 때만 효과가 있다”)과 최적의 조합 하나를 찾기 위해 MVT를 실행합니다. 상호작용을 추정하는 데는 비용이 많이 듭니다. 널리 인용되는 Andrew Gelman의 글 You need 16 times the sample size to estimate an interaction than to estimate a main effect가 그 이유를 보여 줍니다. 상호작용 추정치의 표준오차는 주효과의 두 배이고, 상호작용의 크기가 주효과의 절반이라면(그가 밝힌 가정) 같은 검정력을 얻기 위해 16배의 표본이 필요합니다. 저희 예시에 적용하면 약 445,000명의 방문자입니다.
개월 수로 환산하면
| 설계(기준선 3%, MDE 20%) | 총 방문자 수 | 월 5,000명 기준 개월 수 | 월 20,000명 기준 개월 수 |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| 4개 그룹 A/B/n(Bonferroni) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, 각 셀 vs 대조군(보정 없음) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, 각 셀 vs 대조군(Bonferroni) | 176,896 | 35.4 | 8.8 |
| MVT 상호작용, 절반 크기(16배 규칙) | 445,248 | 89.0 | 22.3 |
월 방문자 2만 명인 페이지에서 모든 조합을 판독하는 2×2×2 MVT는 보정을 적용하면 거의 1년이 걸립니다. 5,000명이라면 몇 년이 걸립니다. 저희의 견해: 다변량 테스트는 B2B 웹사이트에서 실용적인 경우가 드뭅니다. 월 방문자 몇천 명으로 “MVT를 돌렸더니 6번 조합이 이겼다”는 주장이 나오면, 누군가 행동하기 전에 표본을 엄격하게 따져 봐야 합니다.
대부분의 팀이 잘못하는 것
흔한 실수는 질문이 아니라 의욕에 따라 테스트 유형을 고르는 것입니다. 아이디어끼리 상호작용하는지 알아야 해서가 아니라 아이디어가 많아서 MVT를 고릅니다. 하나로 합의하지 못해서 변형 5개짜리 A/B/n을 고릅니다. 두 경우 모두 제한된 트래픽을 너무 얇게 나눠 결과를 읽을 수 없게 됩니다.
두 번째는 실제 질문이 오디언스에 관한 것인데 요소를 테스트하는 것입니다. B2B 사이트에서 무엇이 전환되는지는 어떤 헤드라인을 보여주느냐보다 누가 보느냐에 더 좌우되는 경우가 많습니다. 제조업 구매자와 SaaS 창업자는 서로 다른 신뢰 근거를 원합니다. 모든 사람에게 헤드라인 A와 B를 테스트하면 이 오디언스들이 평균으로 섞여, 한 세그먼트에서는 크게 이기고 다른 세그먼트에서는 지는 변형이 가려질 수 있습니다. 이것이 세그먼트 타겟 개인화 테스트가 필요한 이유입니다.
의사결정 표: 어떤 테스트를 할 것인가
| 상황 | 페이지 월간 방문자 수 | 변경된 요소 | 권장 테스트 |
|---|---|---|---|
| 명확한 가설 하나, 큰 변경 | 제한 없음, 5,000 미만 포함 | 하나의 콘셉트(여러 요소에 걸칠 수 있음) | A/B |
| 정말로 서로 다른 접근 방식 두세 개 | 15,000+ | 페이지 전체 콘셉트 | 최대 3개 그룹의 A/B/n |
| 요소 간 상호작용 여부를 알아야 할 때 | 100,000+ | 요소 2~3개, 각 2개 버전 | 다변량(완전 요인) |
| 오디언스마다 원하는 것이 다를 가능성이 높음 | 세그먼트 내 충분한 트래픽 | 세그먼트에 맞춘 콘텐츠 | 세그먼트 타겟 테스트 vs 홀드아웃 |
| 위의 어떤 방법에도 트래픽이 부족한 경우 | 2,000 미만 | 모두 | 정성 리서치 후 더 큰 변경에 대한 A/B 테스트 |
트래픽 기준치는 기준 전환율 3%를 전제로 한 대략적인 가이드입니다. 확정하기 전에 표본 크기 공식으로 직접 계산해 보세요.
유형별 좋은 테스트 사례
A/B 테스트
- 데모 페이지의 데모 폼 vs 즉시 캘린더 예약.
- 홈페이지의 기능 중심 히어로 vs 성과 중심 히어로.
- ‘영업팀 문의’ 요금제가 있는 요금 페이지 vs 모든 요금제의 가격을 공개한 페이지
A/B 테스트에서 여러 요소를 하나의 콘셉트로 묶는 것은 괜찮습니다. 어떤 요소가 효과를 냈는지가 아니라 콘셉트가 이겼는지를 알게 되며, 보통 실제로 내려야 할 결정은 그것입니다. 이런 아이디어의 우선순위 지정 방법은 B2B 전환율 최적화 가이드에서 다룹니다.
A/B/n 테스트
- 트래픽이 많은 유료 랜딩 페이지에서의 세 가지 가치 제안: 속도, 비용 절감, 리스크 감소.
- 세 가지 CTA 오퍼: 데모, ROI 진단, 제품 투어. 단계에 따라 오퍼 유형이 어떻게 바뀌는지는 데이터 기반 개인화 CTA 가이드를 참고하세요.
트래픽이 유난히 많지 않다면 A/B/n 테스트는 세 그룹(대조군 + 두 개)으로 제한하고, 효과를 구분할 수 있을 만큼 각 그룹을 의미 있게 다르게 만드세요.
다변량 테스트
- 트래픽이 매우 많은 홈페이지에서 헤드라인(2가지 버전) × 소셜 프루프 유형(로고 vs 고객 사례 인용문)을 테스트하는 경우로, 두 요소가 상호작용할 것이라고 예상할 구체적인 이유가 있을 때 적합합니다.
예상하는 상호작용을 말할 수 없다면, 아마 다변량 테스트는 필요 없을 것입니다.
세그먼트 타깃 개인화 테스트
- 금융 서비스 회사 방문자를 위한 업종별 홈페이지 히어로와 기본 히어로 비교.
- 직원 1,000명 이상 기업을 위한 요금 페이지의 엔터프라이즈 중심 증거(보안, 규모) vs 표준 페이지.
- ABM 계정을 위한 타깃 계정 환영 메시지와 고객 사례 vs 일반 페이지.
홀드아웃과 비교해 개인화를 테스트하는 방법
개인화 테스트는 세그먼트 안에서만 진행하는 A/B 테스트입니다. 대조군은 기본 페이지를 보는 해당 세그먼트의 홀드아웃 그룹입니다. 홀드아웃이 없으면 개인화의 효과와, 그 세그먼트가 원래 다르게 전환할 수 있다는 사실을 구분할 수 없습니다.
- 세그먼트를 정확히 정의하세요. 예: “직원 200명 이상의 금융 서비스 기업으로 식별된 방문자”. 이 방문자들만 테스트에 들어갑니다.
- 테스트 대상 페이지로의 월간 세그먼트 트래픽을 측정하세요. 사이트 전체 트래픽이 아니라 이것이 기간을 결정합니다.
- 홀드아웃 크기를 정하세요. 50/50 분할이 가장 빨리 판독됩니다. 홀드아웃이 작을수록 기본 경험에 노출되는 방문자는 줄지만 시간이 더 걸립니다.
- 해당 세그먼트가 실제로 하는 전환을 골라 방문 또는 어카운트의 방문 전체 기준으로 측정하고, 파이프라인은 가드레일 지표로 두세요.
- 출시 전에 표본 크기와 기간을 고정하고, 해당 세그먼트에 대해서만 결과를 확인하세요.
예시(설명용 숫자): 한 세그먼트에 월 3,000명이 방문하고 전환율이 3%이며, 30%의 상대적 개선을 감지하고 싶다고 가정합니다. 동일한 95% 신뢰수준과 80% 검정력으로, 불균등 배분(비합동) 버전의 공식을 사용해 계산하면 다음과 같습니다.
| 홀드아웃 비율 | 필요한 총방문자 수 | 월 3,000명 기준 개월 수 |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
10% 홀드아웃은 50/50 분할보다 결과를 읽는 데 약 2.5배 더 오래 걸립니다. 저희의 권장 사항: 세그먼트별 첫 테스트는 50/50으로 진행해 명확한 답을 얻고, 적용 후에는 작은 영구 홀드아웃(10~20%)을 유지해 효과가 시간이 지나도 유지되는지 추적하십시오. 세그먼트별로 테스트 순서를 정하는 방법은 개인화 테스트 로드맵에서 보여드립니다. 결과가 가장 빨리 나오므로 트래픽이 가장 많고 메시지 격차가 가장 분명한 세그먼트부터 시작하십시오. 월 방문자가 수백 명에 불과한 세그먼트는 세그먼트 테스트를 아예 건너뛰십시오. 그 정도 규모에서는 50/50 분할로도 1년 안에 판단 가능한 결과를 얻을 수 없습니다.
이런 홀드아웃 테스트를 실행하려면 페이지가 렌더링되기 전에 세그먼트를 식별하고 해당 세그먼트만 나눠야 합니다. Markettailor의 A/B 테스트는 기업 단위 세분화로 각 테스트에 누가 들어갈지 결정해 세그먼트별로 이를 처리하므로, 핀테크 테스트에는 핀테크 방문자만 들어갑니다.
자주 묻는 질문
A/B 테스트와 다변량 테스트의 차이는 무엇인가요?
A/B 테스트는 페이지의 완성된 두 버전을 비교합니다. 다변량 테스트는 여러 요소를 동시에 바꿔 모든 조합을 테스트하므로, 어떤 요소가 중요한지와 요소 간 상호작용이 있는지 알 수 있지만 훨씬 많은 트래픽이 필요합니다.
A/B/n 테스트란 무엇인가요?
A/B/n 테스트는 대조군과 두 개 이상의 완전한 변형안을 동시에 비교합니다. 실제로 서로 다른 접근 방식이 몇 가지 있을 때 유용하지만, 그룹이 하나 늘어날 때마다 별도의 표본과 더 엄격한 유의성 기준이 필요합니다.
다변량 테스트에는 얼마나 많은 트래픽이 필요한가요?
전환율 3%인 페이지에서 2×2×2 테스트를 할 경우, 8개 조합 각각을 대조군과 비교해 20% 상승을 판단하려면 다중 비교 보정 방법에 따라 약 111,000~177,000명의 방문자가 필요합니다. 상호작용을 감지하려면 그 몇 배가 필요할 수 있습니다.
B2B 웹사이트에서 다변량 테스트는 할 만한 가치가 있나요?
드뭅니다. 대부분의 B2B 페이지는 몇 달 안에 조합이나 상호작용 효과를 읽어 낼 만큼 트래픽이 많지 않습니다. 큰 콘셉트를 비교하는 A/B 테스트와 세그먼트 타깃 개인화 테스트가 보통 더 빠르고 명확한 답을 줍니다.
A/B 테스트와 다변량 테스트를 함께 쓸 수 있나요?
네. 흔한 순서는 먼저 콘셉트를 A/B 테스트하고, 확인할 구체적인 상호작용이 있다면 트래픽이 매우 많은 페이지에 한해 승리한 콘셉트 안의 두 요소로 소규모 요인 테스트를 실행하는 것입니다.