피드로 돌아가기
강남언니 공식 블로그Career
원문 읽기
실패를 통해 배우는 AB테스트
강남언니가 AB테스트 설계 개선을 통해 일본 유저 회원가입 전환율을 59.9%에서 79.9%로 20% 포인트 상승
AI 요약
Context
마케팅으로 유입된 일본 유저가 로그인 화면까지는 도달하지만 회원가입 단계에서 이탈이 발생하고 있었습니다. 로그인 화면 유입 대비 회원가입 완료 비율이 59.9%에 불과했습니다.
Technical Solution
- 1차 실험에서 통제 변수 설정 없이 정보량 강화(A안), 기능 강조(B안), 콘텐츠 표시(C안), SNS 버튼 강조 총 4가지 변수를 동시에 변경하여 인과관계 파악 불가능
- 2차 실험에서 하단 버튼 갯수·위치·문구를 고정(통제 변수) 후 상단 콘텐츠만 변경하는 방식으로 설계 변경
- 2차 실험에서 소셜 로그인 시 SNS 공유 우려를 해소하기 위해 "SNS에 공유되지 않으니 안심하세요" 마이크로 카피 추가
- 1차 2달 소요에서 2차 3주로 테스트 기간 단축하여 빠른 결과 도출
- 테스트 시안 개수를 3~4개에서 2~3개로 축소
Impact
- 2차 AB테스트 결과 콘텐츠 보여주기 안(B안)이 기존안 대비 회원가입 전환율 3.58% 상승
- 1년간 누적 테스트 결과 회원가입 전환율이 20% 포인트 증가 (기존 59.9% → 79.9%)
Key Takeaway
AB테스트 설계 시 한 가지 가설에 집중하고 통제 변수를 명확히 고정하는 것이 필수입니다. 과도한 시안 테스트는 인과관계 파악을 방해하며 결과적으로 실험 목적을 달성할 수 없게 됩니다.
실천 포인트
국제 서비스에서 지역별 사용자 행동을 AB테스트로 검증할 때는 한 번에 하나의 가설만 검증하도록 고정 변수(예: 버튼 배치)를 명확히 정의하고, 테스트 변수(예: 콘텐츠 표시 방식)만 변경해야 합니다. 이를 통해 테스트 기간을 단축하고 신뢰도 높은 인사이트를 도출할 수 있습니다.