回测的真相与陷阱：为什么「测了十年」不等于「靠谱」

Context

회测은 역사 데이터에 고정 규칙을 적용해 수익, 낙폭, 승률 등을 검증하는 필수 도구이지만, "10년 회测"이라는 표현만으로는 샘플 신뢰도를 판단할 수 없다. 동일한 10년 기간도 데이터 입자도(粒度)에 따라 일봉 약 3,650개 K선부터 분봉의 수백 배, Tick 데이터의 수천 배까지 정보량이 극적으로 달라진다. 회测 곡선이 실제 거래보다 우수해 보이는 이유는 성교(成交) 가정의 과도한 단순화, 슬리피지(滑点) 미반영, 과적합(过拟合) 등 12가지 이상의 체계적 편향 때문이다.

Technical Solution

• 데이터 입자도 명시: 회测 결과 발표 시 일봉/시간봉/분봉/Tick 단위를 반드시 선언하고, 같은 "10년"이어도 정보량이 수백 배 다를 수 있음을 문서화
• 성교 모델 계층화: "수익 K선 성교" → "차봉 오픈가 성교" → "슬리피지 추가" → "이벤트 기반 간단한 매칭" → "근사 Tick 시뮬레이션"의 5단계로 가정을 순차적으로 엄격하게
• 경로 의존성 재현: OHLC 정보만으로는 봉 내 가격 경로(선락후장 vs 선장후락)를 알 수 없으므로, 손절·그리드·조건부 주문 전략의 경우 분봉 이상의 입자도 필요
• 수수료·자금비율 모델 정확화: 메이커/테이커 수수료 차이, 영구 선물의 자금비율, 실제 구좌 등급의 차등 수수료를 회测에 반영
• 표본 외 검증 추가: 일부 기간을 파라미터 조정에서 제외하고 별도 검증용으로 보존하며, 롤링 윈도우 워크포워드 테스트로 "특정 기간만 유효한 과적합" 감지
• 교차 검증 확대: 상관성이 다른 품종에서 동일 전략 재현, 극한 스트레스 테스트(중요 공시 전후 등)로 운영 리스크 노출

Impact

아티클은 정량적 성능 수치(지연 시간, 비용 절감 등)를 제시하지 않으며, 회测과 실제 거래 간의 편차 방향과 크기를 확정하는 데 중점을 둔다.

Key Takeaway

회测은 미래 수익을 보장하지 않고 "과거 이 가정 하에 이렇게 작동했을 것"만 답할 수 있으므로, 신뢰도는 데이터 입자도와 성교 모델의 엄격함에 비례한다. 변동성·레버리지·스프레드에 민감한 전략은 일봉 이상의 粗 데이터와 이상적 성교 가정으로 심각하게 낙관화되므로, 최소 분봉 또는 Tick 단위 시뮬레이션과 표본 외 검증을 통해 편차를 "예측 가능한 범위"로 제한해야 한다.