A/B 테스트 표본 크기 공식은 전환율 차이가 의미를 가지려면 각 변형안에 방문자가 몇 명 필요한지 알려줍니다. 신뢰수준 95%, 검정력 80%의 표준 양측 검정이라면 변형안당 대략 n = (1.96 + 0.84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)²명의 방문자가 필요합니다. 여기서 p1은 기준 전환율, p2는 감지하고자 하는 전환율입니다.
이 공식을 실제 B2B 수치에 적용하면 결과는 불편합니다. 전환율 3%인 페이지에서 20%의 상대적 개선을 신뢰성 있게 감지하려면 변형당 약 14,000명의 방문자가 필요합니다. 많은 B2B 페이지는 한 분기에 그만큼의 방문자를 받지 못합니다. 아래에서는 공식의 입력값을 하나씩 살펴보고, 다양한 기준 전환율에 대한 계산표, 특정 트래픽 수준에서 테스트에 걸리는 기간, 그리고 답이 ‘8개월’일 때 해야 할 일을 다룹니다.
저희 입장: 대부분의 B2B A/B 테스트는 검정력이 부족합니다
먼저 수치가 뒷받침하는 의견부터 말씀드리겠습니다. 저희는 대부분의 B2B A/B 테스트가 충분한 데이터가 쌓이기 훨씬 전에 중단되며, 그렇게 나온 ‘승자’ 중 상당수는 노이즈라고 봅니다. 전형적인 패턴은 이렇습니다. 3주간의 테스트, 25% 앞선 변형, 초록색 배지, 배포된 변경, 그리고 6개월 뒤에도 파이프라인에는 눈에 띄는 개선이 없습니다.
검정력이 부족한 테스트는 실제 효과를 놓치므로 테스트 기회를 낭비합니다. 더 나쁜 것은, 검정력이 부족한 테스트가 유의성 기준을 넘었을 때 측정된 향상률이 과대평가되는 경향이 있다는 점입니다. 운 좋은 결과만 기준을 넘기 때문입니다. 통계학자들은 이를 크기 오류(M형 오류)라고 부릅니다. 팀은 효과가 없을 수도 있는 변경을 배포하고, 부풀려진 수치를 CRO 보고서에 기록하게 됩니다. 실행 전에 표본 크기를 계산하는 것이 가장 저렴한 예방책입니다.
A/B 테스트 표본 크기 공식
두 전환율을 비교하는 표준 공식(두 비율 z-검정)은 다음과 같습니다.
변형당 n = [ zα/2 × √(2 × p̄ × (1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
각 입력값의 의미는 다음과 같습니다.
- p1(기준 전환율): 테스트하는 페이지와 목표의 현재 전환율. 사이트 전체 평균이 아니라 최근 4~8주간 정확히 그 전환 이벤트와 그 페이지의 전환율을 사용하세요.
- p2(목표 전환율): 기준 전환율에 (1 + MDE)를 곱한 값. 기준 전환율 3%, 상대 MDE 20%라면 p2 = 3.6%입니다.
- MDE(최소 감지 효과): 감지하고 싶은 가장 작은 상대 상승폭. 이는 통계적 결정이 아니라 비즈니스 결정입니다. 차이(p2 − p1)가 분모에서 제곱되므로 MDE가 작을수록 훨씬 많은 트래픽이 필요합니다. MDE를 절반으로 줄이면 표본은 약 4배가 됩니다.
- p̄(합동 비율): p1과 p2의 평균입니다. 실제 차이가 없다는 가정하에서의 노이즈를 나타냅니다.
- zα/2 = 1.96: 5% 위양성률(알파 0.05)에 해당하며, 변형이 더 좋을 수도 나쁠 수도 있으므로 양쪽 꼬리에 나뉩니다.
- zβ = 0.8416: 검정력 80%에 해당합니다. 실제 상승폭이 MDE와 같다면 테스트가 80% 확률로 이를 감지한다는 뜻입니다. 나머지 20%는 실제 승자를 놓칩니다.
많은 계산기는 첫 문단에 나온 단순화된 비합동 버전을 사용합니다. B2B 전환율에서는 둘의 차이가 방문자 몇 명에 불과합니다. A/B 테스트 계산기는 위의 합동 공식을 사용하며 테스트 기간도 추정합니다.
단계별 계산 예시
예시(설명용 수치): 데모 요청 페이지의 전환율이 3%이고, 20%의 상대적 향상을 감지하고 싶습니다.
- 전환율을 설정합니다: p1 = 0.030, p2 = 0.030 × 1.2 = 0.036. 절대 차이는 0.006입니다.
- 합동 비율: p̄ = (0.030 + 0.036) / 2 = 0.033.
- 첫 번째 항: √(2 × 0.033 × 0.967) = √0.06382 = 0.2526. 1.96을 곱하면 0.4951.
- 두 번째 항: p1(1−p1) = 0.0291, p2(1−p2) = 0.0347. √(0.0638) = 0.2526. 0.8416을 곱하면 0.2126.
- 더한 뒤 제곱합니다: (0.4951 + 0.2126)² = 0.7077² = 0.5009.
- 차이의 제곱으로 나눕니다: 0.5009 / 0.006² = 0.5009 / 0.000036 = 변형안당 방문자 13,914명.
따라서 결과를 확인하기 전에 테스트에는 총 약 27,800명의 방문자, 그리고 대조군에서만 약 417건의 전환(13,914 × 3%)이 필요합니다. 교차 검증으로, 단순화된 비합동 공식은 변형당 13,911명, 아크사인(Cohen's h) 근사는 약 13,890명을 제시합니다. 세 방법의 차이는 0.2% 이내입니다.
B2B 전환율별 표본 크기 표
아래 표는 위의 합동 공식(양측 유의수준 0.05, 검정력 0.8)을 기준 전환율 1%(예: 트래픽이 많은 페이지의 전체 방문자 대비 데모 신청 비율)부터 10%(예: CTA 클릭 같은 마이크로 전환)까지 적용한 결과입니다. 실제로는 자사의 기준 전환율을 사용하세요. 이 표의 값은 참고용입니다. 값은 변형당 방문자 수이며, Node.js로 계산해 올림했습니다.
| 기준 전환율 | 상대 MDE 10% | 상대 MDE 20% | 상대 MDE 30% | 상대 MDE 50% |
|---|---|---|---|---|
| 1% | 163,095 | 42,693 | 19,827 | 7,750 |
| 2% | 80,682 | 21,109 | 9,798 | 3,826 |
| 3% | 53,211 | 13,914 | 6,455 | 2,518 |
| 5% | 31,234 | 8,158 | 3,780 | 1,471 |
| 10% | 14,751 | 3,841 | 1,774 | 686 |
MDE를 10%에서 50%로 바꾸면 필요한 표본이 약 20분의 1로 줄어듭니다. 기준 전환율이 두 배가 되면 필요한 표본은 대략 절반이 됩니다. 트래픽은 빠르게 바꿀 수 없지만 테스트할 변화의 크기와 측정할 전환은 선택할 수 있으며, 소규모 사이트에서는 이 두 가지가 중요한 레버입니다.
테스트는 얼마나 걸릴까?
기간은 필요한 총방문자 수(두 변형 합계)를 테스트 페이지에 실제로 도달하는 월 방문자 수로 나눈 값입니다. 표는 세 가지 트래픽 수준에서 50:50 분할 시 필요한 개월 수를 보여 줍니다.
| 페이지 월간 방문자 수 | 기준선 | 10% MDE | MDE 20% | MDE 30% | MDE 50% |
|---|---|---|---|---|---|
| 2,000 | 2% | 80.7 | 21.1 | 9.8 | 3.8 |
| 2,000 | 3% | 53.2 | 13.9 | 6.5 | 2.5 |
| 2,000 | 5% | 31.2 | 8.2 | 3.8 | 1.5 |
| 5,000 | 2% | 32.3 | 8.4 | 3.9 | 1.5 |
| 5,000 | 3% | 21.3 | 5.6 | 2.6 | 1.0 |
| 5,000 | 5% | 12.5 | 3.3 | 1.5 | 0.6 |
| 20,000 | 2% | 8.1 | 2.1 | 1.0 | 0.4 |
| 20,000 | 3% | 5.3 | 1.4 | 0.6 | 0.3 |
| 20,000 | 5% | 3.1 | 0.8 | 0.4 | 0.1 |
표가 무엇을 말하든 모든 테스트는 최소 2주 전체 기간 동안 실행해 평일과 주말 행동, 캠페인으로 인한 급증이 양쪽 그룹에 모두 반영되게 하세요. 그리고 3개월을 넘는 테스트는 현재 형태로는 실행하지 않는 것이 좋습니다. 그 기간 동안 페이지 콘텐츠, 캠페인, 트래픽 구성이 모두 바뀌어, 결과는 더 이상 존재하지 않는 사이트를 설명하게 됩니다.
월 방문자 5,000명, 기준 전환율 3%라면 50% 개선은 약 한 달 만에 확인할 수 있지만 10% 개선은 거의 2년이 걸립니다. 2년 동안 페이지를 바꾸지 않고 두는 사람은 없으므로, 두 번째 테스트는 중간에 멈추고 마치 의미가 있는 것처럼 해석되고 맙니다.
대부분의 팀이 잘못하는 것
- 기간 추정에 사이트 전체 트래픽을 사용하는 것. 테스트 대상 요소에 도달한 방문자만 계산됩니다. 방문자 2만 명인 사이트에서 요금 페이지 테스트의 대상 방문자는 월 2,000명에 불과할 수 있습니다.
- 테스트 후에 MDE 정하기. 출시 전에 MDE를 30%로 정했는데 테스트 결과가 12%라면, 12% 승자가 있는 것이 아닙니다. 결론이 나지 않은 테스트입니다.
- 중간에 결과를 들여다보다 처음 초록색 배지가 뜨자마자 멈추기. Evan Miller의 분석 How Not To Run an A/B Test는 유의성 검정을 반복하면 항상 거짓 양성률이 올라간다는 것을 보여 줍니다. 그의 예시(기준 전환율 50%, 아무 효과 없는 변경, 결과가 5% 유의 수준에 도달하는 즉시 또는 관측 150회 후 중단)에서 거짓 양성률은 명목상의 5%가 아니라 26.1%입니다.
계산 결과가 몇 달이 나올 때: 7가지 선택지
1. 더 큰 변경을 테스트하세요
표본 크기를 줄이는 가장 저렴한 방법은 MDE를 정직하게 높이는 것, 즉 그만한 효과를 낼 법한 큰 변경을 테스트하는 것입니다. 새로운 가치 제안, 다른 제안(문의 양식 대신 즉시 예약), 일반 페이지 대신 한 업종에 맞춘 페이지 등입니다. B2B 전환율 최적화 가이드에서 예상 효과 크기에 따라 테스트 아이디어의 순위를 매기는 방법을 다룹니다.
2. 트래픽이 많은 페이지에서 테스트하기
홈페이지, 인기 블로그 글, 트래픽이 많은 랜딩 페이지는 월 방문자가 더 많습니다(결정 단계 트래픽이 많은 페이지는 B2B 랜딩 페이지 최적화 참고). 여러 페이지가 공유하는 템플릿(모든 솔루션 페이지, 모든 블로그 글)에서 테스트하면 트래픽을 하나의 실험으로 모을 수 있습니다.
3. 마이크로 전환은 신중하게 활용하세요
CTA 클릭이나 양식 작성 시작 같은 마이크로 전환은 기준값이 더 높으므로, 표에서 2% 행이 아니라 10% 행이 적용됩니다. 함정은 변형이 클릭은 늘리면서 적격 데모는 줄일 수 있다는 점입니다. 마이크로 전환이 매크로 목표와 함께 움직인다는 근거가 있을 때만 의사결정 지표로 쓰고, 항상 매크로 전환을 가드레일로 함께 보고하세요.
4. 세그먼트를 합쳐서 시작하고 나중에 나누기
세그먼트별로 따로 테스트하면 트래픽이 나뉩니다. 세그먼트 전체에 걸쳐 테스트 하나를 실행하고, 세그먼트별 결과는 방향성 지표로만 보십시오. 세그먼트별 답이 필요하다면 그 세그먼트의 트래픽만으로 충분하도록 테스트 규모를 잡아야 합니다. 각 테스트가 충분한 트래픽을 확보하도록 세그먼트 테스트 순서를 정하는 방법은 90일 개인화 테스트 로드맵에서 보여드립니다.
5. 순차 검정을 사용하세요
순차적 설계(사전에 계획된 중간 분석이 있는 그룹 순차 검정, 또는 일부 테스트 도구에 내장된 항상 유효한 방법)를 사용하면 테스트 도중에 결과를 확인하고 효과가 클 때 거짓 양성을 늘리지 않고 조기 종료할 수 있습니다. 대신 테스트를 끝까지 진행할 경우 최대 표본이 약간 커집니다. 이것이 중간 확인의 정당한 방식입니다. 테스트에 몇 달이 걸린다면, 먼저 세션 녹화나 양식 분석 같은 진단용 CRO 도구에 예산을 쓰세요.
6. 기대치를 명확히 하고 베이지안 접근법을 고려하기
베이지안 A/B 테스트는 B가 A보다 나을 확률과, 잘못 골랐을 때의 기대 손실을 보고합니다. p값보다 행동으로 옮기기 쉽고, “더 나을 확률이 90% 이상이고 기대 손실이 0.1%p 미만이면 배포”처럼 명시적인 결정을 내릴 수 있게 합니다. 되돌릴 수 있는 변경이라면 그 정도 위험을 감수하는 것이 합리적인 경우가 많습니다.
베이지안 방법이 하지 못하는 것은 정보를 만들어 내는 일입니다. 약한 사전분포에서는 20% 상승을 확신하는 데 필요한 데이터가 빈도주의 표와 거의 같습니다. 작은 표본에서의 90% "이길 확률"은 여전히 불안정하며, 중단 규칙을 두고 매일 확인하면 실제로 오류율이 높아집니다. 베이지안 테스트는 불확실성을 표현하고 결정하는 방식을 바꿀 뿐, 불확실성을 줄이지는 않습니다.
7. 중간에 결과를 엿보지 말거나, 엿볼 시점을 미리 계획하세요
출시 전에 표본 크기를 정해 테스트 브리프에 적고, 그 크기에 도달할 때까지 테스트를 판정하지 마세요. 이해관계자에게 중간 보고가 필요하다면, 임의로 확인하지 말고 처음부터 순차적 설계를 사용하세요. 실험 계획 템플릿에는 이런 결정마다 입력란이 있습니다.
출시 전 체크리스트
- 해당 페이지와 전환에 대한 기준 전환율과 월간 대상 방문자 수를 가져오세요(최근 4~8주).
- 변경 규모에 따라 MDE를 정하고 기록해 두세요.
- 공식이나 위의 표로 변형당 n을 계산한 다음, 기간을 계산하세요.
- 기간이 약 3개월을 넘으면 테스트를 다시 설계하세요(더 큰 변경, 트래픽이 더 많은 페이지, 또는 가드레일을 둔 기준 전환율이 더 높은 지표).
- 중단 규칙을 정하세요: 고정 표본 또는 사전에 계획한 중간 확인이 있는 순차 계획.
B2B 팀에서 가장 큰 효과는 보통 모두를 위해 한 페이지를 다듬는 것보다 방문자마다 다른 콘텐츠를 보여 주는 데서 나옵니다. 한 세그먼트를 위해 쓴 메시지는 새 버튼 색상보다 큰 변화이기 때문입니다. 단순 분할 테스트와 여러 변형이나 요인을 가진 테스트 사이에서 고민 중이라면, 같은 표본 크기 계산을 A/B/n 및 다변량 설계에 적용한 A/B 테스트 vs 다변량 테스트 비교를 읽어 보세요.
세그먼트별 경험을 테스트할 준비가 되었다면, Markettailor의 개인화 페이지 A/B 테스트로 세그먼트마다 대조군과 나누고 결과를 세그먼트별로 추적할 수 있습니다. 계획한 표본 크기를 그대로 확보할 수 있습니다.
자주 묻는 질문
A/B 테스트 표본 크기 공식은 무엇인가요?
두 전환율에 대해 변형당 n = [1.96 × √(2p̄(1−p̄)) + 0.8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)²이며, 여기서 p1은 기준 전환율, p2는 목표 전환율, p̄는 둘의 평균입니다. 신뢰수준 95%(양측)와 검정력 80%를 가정합니다.
전환율이 2%일 때 A/B 테스트에 필요한 방문자 수는 얼마인가요?
95% 신뢰수준과 80% 검정력 기준으로, 상대 상승률 20%를 검출하려면 변형당 약 21,100명, 30%는 약 9,800명, 50%는 약 3,800명이 필요합니다. 전체 테스트 트래픽은 이 수치의 두 배입니다.
베이지안 A/B 테스트는 더 작은 표본으로도 되나요?
강력하고 타당한 사전 정보가 없다면 크게 다르지 않습니다. 베이지안 테스트는 더 직관적인 결과(대조군을 이길 확률, 기대 손실)를 제공하고 위험 기반 의사결정을 지원하지만, 특정 개선폭을 확신하는 데 필요한 데이터 양은 빈도주의 계산과 비슷합니다.
B2B 사이트는 최소 검출 효과를 얼마로 설정해야 할까요?
MDE는 희망 사항이 아니라 트래픽을 근거로 정하세요. 페이지 트래픽으로 6~8주 안에 감지할 수 있는 수준을 계산한 다음, 그 정도 향상을 낼 만큼 큰 변경만 테스트하세요. 위의 기간 표에서 월 방문자 5,000명, 기준 전환율 3%인 페이지는 3개월 안에 약 30% 이상의 향상만 판별할 수 있습니다.
이미 유의하다면 A/B 테스트를 일찍 중단해도 되나요?
표준 고정 표본 테스트에서는 안 됩니다. 반복해서 확인하면 위양성이 늘어나기 때문입니다. 조기 종료 옵션이 필요하다면 출시 전에 중간 분석을 계획한 순차적 테스트 설계를 사용하세요.