Agent Skill 도입으로 하위 모델 성능 최대 +23.1%p 향상

Anthropic, OpenAI, or Cursor model for your agent skills? 7 learnings from running 880 evals (including Opus 4.7)

Tessl2026년 6월 22일11분intermediate

AI 요약

Context

LLM의 기본 추론 능력(Native Behavior)만으로는 특정 도메인 지식이나 내부 컨벤션 준수에 한계가 존재함. 특히 모델 체급이 낮을수록 복잡한 Task 수행 시 Adherence 저하와 성능 불균형이 발생하는 구조적 문제 직면.

Context Development Lifecycle 도입을 통한 Agent Skill 중심의 아키텍처 설계
Pre-training 단계에서 학습되지 않은 Niche CLI 및 내부 Private API 지식을 Skill 형태로 주입하여 정보 격차 해소
모델 체급에 관계없이 동일한 Skill Set을 적용하여 모델 간 성능 편차를 줄이는 Context Compression 전략 채택
비용 효율화를 위해 고성능 Frontier 모델 대신 'Small Model + High-quality Skill' 조합의 고빈도 워크로드 최적화
Skill 로드 시 발생하는 Token 증가량(Opus 4.7 기준 82% 증가)을 고려한 Context Budget 기반의 거버넌스 수립

실천 포인트

1. 내부 Private API나 특수 라이브러리 사용 시 모델 업그레이드보다 전용 Skill 정의를 우선 검토

2. 고빈도 단순 Task의 경우 'Haiku-grade 모델 + 최적화된 Skill' 조합으로 인프라 비용 절감 추진

3. Skill 도입 시 Token 소모량 및 실행 비용 증가분 대비 성능 리프트(Lift) 수치를 정량적으로 평가

4. 모델 체급 간 성능 격차가 적은 Task의 경우, 비용 효율적인 하위 모델을 선택하고 Context 거버넌스에 집중

태그