토큰 사용량 최대 75% 절감, Claude 'Caveman' 페르소나 전략

Context

LLM의 기본 응답 방식은 정중함과 상세함에 치중한 구조. 불필요한 수식어와 서론으로 인한 토큰 낭비 발생. 대규모 API 파이프라인 운영 시 누적 비용 증가와 응답 지연 시간 확대 문제 직면.

Technical Solution

• 'Be concise'와 같은 추상적 지시 대신 'Caveman'이라는 구체적 페르소나를 부여하는 프롬프트 전략 채택
• 인사말, 완곡한 표현, 중복 설명을 완전히 배제하는 제약 조건 설정
• 주어-동사-목적어 위주의 짧은 선언적 문장만 사용하도록 통신 스타일 강제
• Claude Code의 Custom Skill 기능을 활용해 활성화 구문(activation phrase) 기반의 토글 방식 구현
• 시스템 프롬프트 주입을 통해 모델이 도움을 주려는 경향보다 페르소나 유지 규칙을 우선하도록 설계

Impact

• 함수 요약 토큰 약 68% 절감 (180-240 -> 45-70 tokens)
• 에러 설명 토큰 약 72% 절감 (220-300 -> 60-90 tokens)
• 코드 리뷰 코멘트 토큰 약 73% 절감 (150-200 -> 40-55 tokens)
• 아키텍처 제안 토큰 약 71% 절감 (350-500 -> 100-140 tokens)
• 단순 Yes/No 작업 토큰 약 75% 절감 (50-80 -> 10-20 tokens)
• 일일 1만 건 호출 기준 출력 비용 $30에서 $9로 감소

Key Takeaway

추상적인 제약 조건보다 명확한 캐릭터나 페르소나를 설정하는 것이 LLM의 출력 형식을 일관되게 제어하는 데 더 효과적임.