Why Most People Get Descriptive Statistics Wrong (And How to Fix It)

Context

코드 리뷰에서 통계 요약을 포함한 PR을 분석할 때 가장 흔한 실수는 공식 자체가 틀린 것이 아니라 올바른 자리에 잘못된 공식을 사용하는 것이다. 특히 표본 표준편차(N-1)와 모집단 표준편차(N)를 혼동하면 데이터가 증가함에 따라 결과와 그에 따른 의사결정이 복합적으로 왜곡된다.

Technical Solution

• 표본 표준편차에 Bessel 보정(N-1) 적용: 표본 크기 5일 때 분산이 25% 달라지므로 올바른 분모 선택이 필수
• 중심경향성 지표 선택: 이상값(outlier)이 있는 응답 시간 데이터는 평균(mean) 대신 중앙값(median) 사용
• 산포도 지표 확대: 범위(range)는 2개 데이터만 반영하므로 사분위수 범위(IQR, Q3-Q1)로 중간 50% 데이터 분석
• 분포 형태 검증: 표본 기울기(skewness)와 첨도(kurtosis)를 사전 검사하여 정규성 가정이 필요한 t-test 등의 신뢰성 판단
• A/B 테스트 통계: 비율의 표준오차 계산 시 올바른 분모 사용으로 위양성/위음성 방지

Impact

표본 크기 5에서 분산 계산 시 25% 차이 발생. 500명 사용자 A/B 테스트에서 표준편차 오류는 유의성 판단을 완전히 바꿈. 포트폴리오 성과 분석에서 120개 월별 표본을 모집단으로 취급하면 위험을 과소평가.

Key Takeaway

통계 공식 자체를 알아도 표본과 모집단의 구분이 없으면 의사결정이 화합적으로 왜곡되므로, A/B 테스트, 성능 모니터링, 금융 모델링 등 모든 데이터 기반 분석에서 Bessel 보정과 분포 특성 검증을 먼저 수행해야 한다.