A/B 테스트 유의성 계산기
노출·전환수만 입력해 두 안의 통계적 승패를 즉시 판정
도구를 불러오는 중…
🔒 이 도구는 100% 브라우저에서 처리됩니다. 업로드한 파일과 입력한 내용은 서버로 전송되지 않습니다.
A/B 테스트에서 어느 안이 진짜로 더 나은지, 아니면 우연에 불과한지 헷갈릴 때 쓰는 계산기입니다. 대안 A와 B의 노출수·전환수만 입력하면 두 비율 z검정으로 p-value와 유의성 여부를 즉시 계산해 주며, 모든 계산은 브라우저 안에서만 이루어져 데이터가 서버로 전송되지 않습니다. 마케터, 그로스 담당자, PM이 실험 결과를 빠르게 확인할 때 유용합니다.
사용 방법
- 원하는 신뢰수준(90%, 95%, 99% 중 하나)을 선택합니다.
- 대안 A(Control)의 노출수와 전환수를 입력합니다.
- 대안 B(Variation)의 노출수와 전환수를 입력합니다.
- 화면 상단에서 유의성 여부, p-value, 각 안의 전환율과 상대 개선율을 바로 확인합니다.
자주 묻는 질문
- p-value가 낮으면 무조건 B가 이긴 건가요?
- 아니요. 이 도구는 B의 전환율이 A보다 높으면서 p-value가 설정한 신뢰수준의 임계치보다 작을 때만 '유의미한 승리'로 판정합니다. B가 A보다 낮으면 p-value가 작아도 승리로 표시되지 않습니다.
- 결과가 '유의하지 않음'으로 나오면 어떻게 해야 하나요?
- 표본(노출수)이 부족하거나 실제 차이가 크지 않다는 뜻일 수 있습니다. 테스트를 더 진행해 데이터를 누적한 뒤 다시 계산해 보세요.
- 입력한 수치가 서버에 저장되나요?
- 아니요. 모든 계산은 브라우저 내에서 즉시 처리되며 별도로 저장되거나 전송되지 않습니다.