I Was Tired of Waiting for GridSearchCV. So I Built Something Smarter. 🚀

Context

GridSearchCV는 모든 하이퍼파라미터 조합에 대해 전체 데이터셋으로 전체 학습 과정을 수행한다. 예를 들어 4×4×4=64가지 조합에 5-fold CV를 적용하면 320번의 완전한 학습이 실행되어 매우 느리다.

Technical Solution

• 모든 파라미터 조합을 전체 데이터의 30%만 사용해 3-fold CV로 빠르게 스크리닝: 초기 성능 순위 평가
• 스크리닝 결과에서 하위 X%를 제거(prune_ratio 파라미터로 제어): 명확히 성능이 낮은 조합은 전체 학습에서 제외
• 남은 조합들만 전체 훈련 데이터(70%)로 proper CV 실행: 리소스 집중 투자
• 80/20 train-test 분할 + 30/70 screening-validation 계층화 전략: 편향 제거 및 신뢰도 확보
• SmartSearch 클래스를 GridSearchCV와 동일한 API로 구현: 학습 곡선 최소화

Impact

• 대규모 데이터셋(143.5초 소요) 벤치마크에서 GridSearchCV 대비 정확도 동등(0.982 vs 0.978) 달성하며 실행 시간 17% 단축(122.3초)
• 소규모 데이터셋 벤치마크에서 GridSearchCV(0.909), RandomizedSearchCV(0.909), Optuna(0.912), Hyperopt(0.913) 대비 가장 높은 정확도(0.940) 기록
• 작은 그리드(9개 조합)에서 3개만 전체 학습: 계산 비용 67% 감소

Key Takeaway

하이퍼파라미터 튜닝에서 모든 조합을 동등하게 평가할 필요는 없다. 저비용 스크리닝으로 초기 순위를 파악한 후 유망한 후보만 집중 학습하는 two-stage 접근법은 sklearn 생태계 내에서도 GridSearchCV 수준의 정확도를 유지하면서 실행 시간을 단축할 수 있다.