CMA-ES와 LLM을 결합한 Centaur 구조로 HPO 성능 극대화

Can LLMs Beat Classical Hyperparameter Optimization Algorithms?

2026년 6월 9일2분advanced

AI 요약

Context

고정된 Compute Budget 내에서 LLM 기반 Hyperparameter Optimization(HPO)의 효율성을 검증함. 기존 Classical HPO 알고리즘 대비 LLM의 State Tracking 능력 부족과 Out-of-Memory(OOM) 발생 가능성이 주요 병목으로 작용함.

Technical Solution

CMA-ES의 Mean Vector, Step-size, Covariance Matrix 등 해석 가능한 Internal State를 LLM에 공유하는 Centaur 하이브리드 구조 설계
LLM이 직접 Training Code를 수정하는 방식을 도입하여 Search Space 제약을 완화하고 최적화 유연성 확보
Classical Method의 수렴 안정성과 LLM의 Domain Knowledge를 결합하여 상호 보완적 최적화 루프 구축
LLM의 제안 기반 Trial과 Classical 알고리즘의 탐색을 적절히 배분하는 Ablation Study를 통한 최적 비율 산출
모델 스케일링 분석을 통해 0.8B 규모의 소형 모델로도 하이브리드 구조 시 충분한 성능 달성 가능함을 입증

실천 포인트

1. LLM을 단독 최적화 도구로 쓰기보다 기존 수치 최적화 알고리즘의 State를 입력값으로 제공하는 Hybrid 구조 검토

2. Search Space 정의 시 OOM 방지를 위한 제약 조건 설정과 LLM의 코드 수정 권한 범위 간의 Trade-off 분석

3. 거대 모델 도입 전

0.8B 수준의 소형 모델로 하이브리드 워크플로우의 유효성 우선 검증

태그

#Hyperparameter-Optimization #Hybrid Architecture #CMA-ES #Autoresearch #LLM-Agent

원문 읽기