Brute-force GridSearchCV를 대체하여 최대 152배 속도 향상을 달성한 EliminationSearchCV

Context

GridSearchCV의 모든 조합 전수 조사 방식에 따른 지수적 비용 증가 문제 분석. 특히 성능이 낮은 Parameter 값이 다른 조합에 계속 포함되어 불필요한 연산이 반복되는 비효율적 구조의 한계 직면.

Technical Solution

• Round 기반 점진적 제거 방식을 통한 탐색 공간의 전략적 축소 설계
• Round 1에서 각 Parameter를 독립적으로 평가하여 저성과 값을 즉시 제거하는 Isolation 전략 채택
• Round 2 이후부터는 생존한 조합들을 Global Ranking으로 평가하여 상위 일정 비율만 유지하는 Elimination 로직 적용
• Fit 과정에서 발생하는 Invalid Combination 예외를 0.0점으로 처리하여 수동 필터링 없이 자연스럽게 제거하는 Error Handling 구조 설계
• Scikit-learn의 API Interface를 그대로 유지하여 기존 코드의 변경 없이 Drop-in Replacement 가능하게 구현

Impact

• DecisionTree 기준 최대 152배, RandomForest 36배, GradientBoosting 35배의 속도 향상 달성
• LogisticRegression 사례에서 전체 Fit 횟수를 240회에서 23회로 약 90% 절감
• 모델별 Accuracy 손실을 0.02 미만으로 억제하며 연산 효율 극대화

Key Takeaway

전수 조사 방식의 Brute-force 설계보다 초기 단계에서 저성과 후보군을 빠르게 쳐내는 Pruning 전략이 고차원 탐색 공간에서 압도적 효율성을 제공함.