LLM Agent 지침 최적화로 토큰 47% 절감 및 동작 무결성 유지

Context

AI Coding Agent가 세션 시작 시마다 61KB(약 18,000 tokens)의 방대한 지침 파일을 로드하며 Context Window의 9%를 소모하는 비효율 발생. 세션이 길어질수록 Token Compaction이 가속화되어 모델의 Attention이 분산되고 지침 준수율이 하락하는 병목 지점 확인.

Technical Solution

• 지침 성격에 따른 차등 압축 전략(Tiered Compression Strategy) 수립
• 단순 나열형 정보(파일 경로, 스타일 규칙)는 60~70% 수준의 공격적 압축 적용
• Safety Rules 및 핵심 선호도는 완전한 문장 형태를 유지하여 모델의 결정론적(Deterministic) 동작 보장
• 중복된 지침을 제거하고 정적 지침을 On-demand 방식의 Skill 구조로 전환하여 기본 Context 부하 감소
• JSON 형태의 Tool Output을 TOON 인코딩으로 대체하여 데이터 전송 효율 최적화
• 동일 프롬프트 기반의 A/B 테스트를 통해 Behavioral Degradation이 발생하는 'Compression Cliff' 임계점 식별

Impact

• V2 전략 적용 시 동작 성능 저하 없이 지침 크기 47% 감소
• 18,000 tokens의 초기 오버헤드를 획기적으로 줄여 Context Window 효율성 증대
• Safety Rule 중복 제거 시 준수율이 100%에서 33%로 급락하는 것을 확인하여 강화 학습적 중복성의 필요성 검증

Key Takeaway

LLM의 지침 준수는 단순 정보 전달이 아닌 패턴 강화의 영역이며, 특히 Safety-critical한 제약 사항은 압축보다 명시적 중복성을 통한 Reinforcement가 설계의 핵심임.