GEPA 기반 Multi-objective 최적화로 Prompt Engineering 자동화 달성

Context

수동 Prompt Engineering의 비과학적 접근으로 인한 성능 변동성과 유지보수 비용 증가 문제 발생. 특히 Accuracy, Latency, Cost 간의 상충 관계로 인해 최적의 균형점을 찾는 설계적 한계 직면.

Technical Solution

• Prompt를 Genome으로 정의하여 Population 기반의 진화적 탐색 구조 설계
• LLM-as-mutator를 통한 Mutation 및 Crossover 연산으로 비미분 가능(Non-differentiable)한 Prompt Space 탐색
• Pareto Dominance 개념을 도입하여 단일 가중치 합산 방식의 임의성을 제거한 다목적 최적화 구현
• 정해진 Test Suite를 통한 Automated Trace Analysis 기반의 Fitness Evaluation 루프 구축
• 모델 업데이트 시 진화 파이프라인 재실행을 통한 Self-healing 아키텍처 확보

Key Takeaway

자연어 기반의 설정값을 정적 텍스트가 아닌 진화 가능한 유전자로 취급하여, 수학적 원칙에 기반한 자동 최적화 파이프라인 구축 가능.