Harness 설계를 통한 Terminal Bench 2.0 13.7%p 성능 향상

Context

LLM 모델 자체의 성능은 범용화된 Commodity 수준에 도달하여 단순 모델 교체만으로는 차별화된 성능 확보가 어려움. 기존의 Prompt Engineering 기반 접근은 모델의 추론 과정에서 무시될 가능성이 높은 '권고 사항'에 불과하여 런타임 신뢰성 확보에 한계가 있음.

Technical Solution

• Model 외부의 제약 사항을 정의하는 5 Layer Harness 아키텍처 설계로 제어 가능성 확보
• Memory Layer: CLAUDE.md를 통한 프로젝트 규칙 정의 및 MEMORY.md를 활용한 세션 간 상태 유지
• Hooks Layer: PreToolUse/PostToolUse를 통한 런타임 강제 집행으로 모델의 임의 판단을 원천 차단하는 결정론적 제어 구현
• Observability Layer: Verification Middleware를 도입하여 Agent가 작업 완료 전 자체 검증을 수행하는 Self-Verification Loop 구축
• Constraint Paradox 적용: 모델의 추론 자유도를 낮추고 명확한 제약 조건을 부여하여 출력의 정밀도 향상
• MCP(Model Context Protocol) 기반의 Tools 및 Permissions 설정을 통한 리소스 접근 권한의 엄격한 관리