Model Upgrade보다 Harness Engineering을 통한 LLM Agent 성능 최적화

Context

코딩 에이전트의 성능 저하 시 모델 체급을 높이는 관습적 접근 방식의 한계 직면. 단순 추론 능력(Capability) 부족보다 팀 내 컨벤션 및 코드베이스 특성 등 컨텍스트(Information) 결핍으로 인한 실패가 주된 병목 지점으로 작용함.

Technical Solution

• Capability Failure와 Information Failure의 구분을 통한 병목 지점 정밀 진단
• 수동으로 누락된 컨텍스트를 Prompt에 주입하여 성공 여부를 확인하는 검증 프로세스 구축
• 반복되는 코드 리뷰 피드백을 Rule, Lint, Test로 정형화하여 Harness에 반영하는 피드백 루프 설계
• Agent가 참조하는 Prior 파일의 유효성을 검토하고 불필요한 항목 제거 및 필수 규칙 추가
• 추론 깊이가 필요한 Complex Refactoring 등 고난도 작업에 한해 모델 업그레이드를 적용하는 단계적 전략 채택