Caveman - 원시인 말투로 Claude/Codex 토큰 절약하기

Context

LLM 응답의 군더더기 텍스트가 토큰 소비량을 증가시키는 구조. 출력 길이를 줄이면서도 품질을 유지하려는 시도. 프롬프트 스타일이 모델의 추론 능력과 출력 효율에 미치는 영향 분석.

Technical Solution

• 원시인 말투(Caveman style)를 모사한 극단적 간결화 프롬프트 적용 전략
• 출력 텍스트의 불필요한 수식어를 제거하여 Output Token 소비량 최소화 설계
• 모델의 Attention Budget 한계를 고려한 입력-출력 스타일 최적화 방식
• 정교한 표현(Rich Token)을 통한 세밀한 문맥 제어와 시맨틱 효율 향상 방안
• 작은 로컬 모델을 번역층으로 활용하여 LLM 친화적 비인간 언어로 통신하는 아키텍처 제안
• 강화학습(RL) 기반의 자체 압축 언어 발견 및 디코딩 프로세스 구상

Impact

• 예비 테스트 결과 기준 응답 길이 약 75% 감소

Key Takeaway

모델의 출력 스타일 제약은 단순한 텍스트 변경을 넘어 추론 리소스 배분과 토큰 효율성에 직접적인 영향을 미치는 변수임.