정규식 기반 텍스트 압축을 통한 LLM Prompt Token 45% 절감

Context

LLM의 Context Window 특성상 대화가 길어질수록 입력 Token 양이 누적되어 비용과 지연 시간이 증가하는 구조적 한계 존재. LLM을 사용하여 Prompt를 최적화하는 방식은 추가 Token을 소모하는 모순적인 비용 구조를 가짐.

Technical Solution

• Code Block 보호 로직: 정규식을 통해 코드 영역을 별도 보관함으로 분리하여 텍스트 압축 과정에서의 코드 무결성 보장
• Phrase Collapsing: 사전 정의된 Dictionary 기반의 문구 치환을 통한 Payload 크기 최소화
• Blacklist Filtering: Hash Set을 활용한 불필요한 Filler Word의 고속 제거
• Symbolic Logic Mapping: 자연어 부정문이나 논리 구조를 기호(예: not → !)로 변환하여 Token 밀도 향상
• Stemming & Synonym Replacement: 단어의 원형 복원 및 짧은 동의어 치환을 통한 문자열 길이 축소
• Multi-pass Cleanup: 공백 제거 및 특수문자 정규화를 통한 최종 텍스트 최적화

Impact

• Prompt Token 사용량 평균 45% 절감
• compute 비용 제로에 가까운 정규식 및 Dictionary 기반 처리
• 4천만 명의 개발자가 일일 30회 사용 시 연간 60GW 전력 절감 가능성 제시

Key Takeaway

고비용의 LLM 추론을 거치지 않고도 결정론적인(Deterministic) 규칙 기반의 전처리(Preprocessing)만으로 유의미한 비용 절감과 성능 최적화 달성 가능