Gateway 기반 API Key 탈취 위험과 Local Compression 통한 토큰 65% 절감 설계

Context

LLM 오버헤드 감소 및 관찰성을 위해 Gateway 아키텍처를 도입한 Bifrost의 보안 취약점 분석. 중앙 제어 평면(Control Plane)을 통한 API Key 관리 구조가 데이터 유출 및 권한 남용의 병목 지점으로 작용함.

Technical Solution

• Gateway-centric 설계: npx 기반 CLI와 대시보드를 통해 모든 LLM 요청을 중앙 제어 평면으로 라우팅하는 구조
• Key Harvesting 벡터: 인증 키를 외부 서버에 저장하도록 강제하여 트래픽 로그와 프로젝트 컨텍스트를 전량 수집하는 방식
• Local-first Compression: Caveman의 에이전트 레벨 텍스트 압축 로직을 통한 중간 매개자 제거 설계
• Token Optimization: 불필요한 수식어 및 관사를 제거하는 특수 명령어를 통해 입출력 토큰량을 물리적으로 감소시키는 방식
• Direct Integration: 제3자 인프라 없이 Claude, Codex 등 LLM API와 직접 통신하는 Zero-infrastructure 구조 채택

Impact

• Bifrost: 5k RPS 기준 100µs 미만의 오버헤드 및 LiteLLM 대비 50배 빠른 성능 주장
• Caveman: 출력 토큰 65~75% 감소 및 입력 토큰 46% 감소 달성

Key Takeaway

성능 최적화를 위해 인프라 계층(Gateway)을 추가하는 설계보다, 데이터 생성 단계(Agent level)에서 처리량을 줄이는 방식이 보안성과 효율성 측면에서 우월함.