최대 5개 모델 동시 최적화 및 Metric-driven 피드백 루프 기반 프롬프트 마이그레이션

Context

LLM 모델 변경 시 프롬프트 재작성이 수반되는 운영 오버헤드 및 정성적 평가에 의존한 성능 검증의 한계 존재. 특히 멀티모달 입력 처리와 모델별 최적 프롬프트의 상이함으로 인한 성능 회귀 위험 발생.

Technical Solution

• Metric-driven Feedback Loop 설계를 통한 프롬프트-응답-평가-재작성 과정의 자동화 구조 구현
• Lambda function 기반의 compute_score 로직을 통한 Accuracy, F1 등 정량적 지표의 프로그래밍적 검증 체계 구축
• LLM-as-a-Judge 아키텍처를 도입하여 Claude Sonnet 4.6 기반의 루브릭 중심 정성적 평가 자동화
• Steering Criteria 설정을 통한 브랜드 보이스 및 안전 제약 사항의 Holistic Evaluation 메커니즘 적용
• JSONL 포맷의 입력 데이터셋과 S3 기반의 결과 저장소를 활용한 확장 가능한 Batch Optimization 워크플로우 설계
• PDF, JPG, PNG 등 멀티모달 데이터 입력을 지원하는 프롬프트 템플릿 구조 채택