4,100→1,200 — Echo PDK가 AI 프롬프트 불필요 토큰을 서버사이드에서 제거

Context

기존 AI 앱은 시스템 프롬프트를 문자열 보간으로 관리했다. 4,000토큰 프롬프트가 조건 없이 매 요청마다 전송되었다. 분기 로직이 Python 파일, 설정 파일, 노션 문서에 분산되었다.

Technical Solution

• [Echo PDK] → [AI 프롬프트용 DSL로 조건부 로직을 템플릿 자체에 내장]
• [렌더링 엔진] → [서버사이드에서 if/else 평가 후 LLM에 전달]
• [ Chevrotain 기반 파서] → [파싱 및 조건 평가 수행]
• [메타 템플릿] → [모델 선택과 temperature를 프롬프트 내에서 조건부로 지정]
• [플러그인 시스템] → [도메인 특화 검증 오퍼레이터 (#isValidEmail 등) 확장]

Impact

평균 입력 토큰이 4,100개에서 1,200개로 감소했다. 소규모 모델의 품질 향상이 관찰되었다.

Key Takeaway

프롬프트 관리의 핵심은 변수 치환이 아니라 조건부 렌더링이다. LLM이 불필요한 컨텍스트를 인지적 가중치 처리하지 않도록 서버에서 선제적으로 제거해야 한다.