피드로 돌아가기
Dev.toAI/ML
원문 읽기
Skill 분리와 MCP 래핑으로 LLM 에러율 90% 감소 및 비용 절감
I replaced $500/mo of SEO, Google Ads tools with a Claude Code plugin — here's how I structured the 15 skills
AI 요약
Context
단일 Skill 내에 방대한 도메인 지식을 포함한 구조로 인해 LLM의 Hallucination 및 작업 혼선 발생. 복잡한 Google Ads API 직접 호출로 인한 토큰 낭비와 유지보수 효율 저하가 주요 병목 지점으로 작용.
Technical Solution
- Domain 중심에서 Task 중심의 Single Responsibility Skill 구조로 분리하여 컨텍스트 최적화
- Meta-skill 기반의 라우팅 로직을 제거하고 LLM의 Intent 파악 능력을 활용한 Direct Routing 채택
- 복잡한 외부 API를 MCP Server로 래핑하여 Skill 단계에서는 추상화된 Clean Tool만 호출하는 구조 설계
- 상태 변경 작업 시 'Proposed Diff -> Human Confirmation' 패턴을 강제하여 실행 안전성 확보
- 수치 변경 작업에 ±30% 등 Bounded Ranges를 설정하여 LLM의 비정상적 값 생성 방지
- Gemini를 활용한 Cross-model Check 스킬을 도입하여 판단 결과의 신뢰성 검증
Impact
- Task 기반 Skill 분리를 통한 에러 발생률 약 90% 감소
- LLM Direct Routing 전환으로 트리거 정확도 약 95%까지 향상
- 월 $500 규모의 유료 SEO 및 광고 툴 대체 성공
실천 포인트
- LLM Skill 설명에 'and'가 2회 이상 포함될 경우 기능을 더 세분화하여 분리할 것 - Skill 설명의 첫 문장에 기능이 아닌 '사용 시점(Trigger)'을 명시하고 'Do NOT use' 케이스를 정의할 것 - LLM이 직접 복잡한 API 명세를 다루게 하지 말고 MCP 등으로 추상화 계층을 구축할 것 - 금전적 손실이나 데이터 파괴 위험이 있는 Mutation 작업은 반드시 Human-in-the-loop 구조를 설계할 것