모델 검증

백테스트가 좋아도 실제 성능이 떨어지는 이유

과적합, 데이터 누수, 규칙 변화, 반복 실험이 성능을 부풀립니다.

업데이트 2026-09-20

이 글은 검증 가능한 규칙 가정을 사용하며 사이트 이름으로 실제 알고리즘을 추정하지 않습니다. 교육용 설명이며 베팅 조언이 아닙니다.

핵심 정의

과거 데이터에 가장 잘 맞도록 반복 조정하면 우연한 잡음을 규칙처럼 학습하는 과적합이 생깁니다.

검증 방법

예측 시점 이후 정보가 특성에 들어가거나 전처리가 테스트 기간을 보면 데이터 누수입니다.

한계와 결론

규칙, 셔플, 기록 방식, 사용자 행동 변화는 분포 이동을 만듭니다.

실천 목록

최종 잠금 테스트셋을 남기고 모든 실험을 기록하며 최고 구간이 아닌 운영 후 연속 성능을 보고해야 합니다.

실천 목록

  • 과거 데이터에 가장 잘 맞도록 반복 조정하면 우연한 잡음을 규칙처럼 학습하는 과적합이 생깁니다.
  • 규칙, 셔플, 기록 방식, 사용자 행동 변화는 분포 이동을 만듭니다.
  • 규칙을 먼저 고정하고 전체 기록을 보존하며 학습과 테스트를 분리한 뒤 단순 기준선보다 추가 정보가 있는지 판단합니다.