중국어 및 Emoji 변환을 통한 Prompt Token 40% 이상 절감 전략

Context

Frontier LLM 사용 시 발생하는 지속적인 Token Limit 도달 및 비용 상승 문제 직면. 영어의 관사와 전치사 등 낮은 정보 밀도로 인한 Context Window 낭비 구조를 개선할 필요성 대두.

Technical Solution

• 영어 Prompt를 정보 밀도가 높은 중국어로 변환하여 Token 소모량을 30~50% 절감하는 파이프라인 설계
• Local LLM(Ollama, Qwen, DeepSeek)을 활용한 전/후처리 Translation Layer 구축으로 API 비용 제거
• 고빈도 표현을 단일 Token의 Emoji로 대체하는 Lookup Table 기반의 추가 압축 레이어 적용
• Input Compression과 Output Compression(Caveman-speak/Classical Chinese)을 결합한 양방향 토큰 최적화 구조
• Batch 작업 및 Async Workload에 최적화하여 Translation Latency 오버헤드를 상쇄하는 아키텍처 채택