월 $200 절감, LLM 비용 가시성 확보를 위한 LLMeter 구축기

Context

OpenAI 기본 대시보드의 총액 표시 방식은 비용 급증의 정확한 원인 파악 불가. 프록시 서버 도입 시 발생하는 Latency 증가와 단일 장애 지점(Single Point of Failure) 생성 우려. 다수 LLM Provider 사용 환경에서 모델별·기능별 정밀한 비용 추적 체계 부재.

Technical Solution

• Inngest 기반의 시간별 폴링(Hourly Polling) 작업 스케줄링을 통한 자동 데이터 수집 구조
• Provider별 상이한 사용량 단위(Token, Character) 및 JSON 구조를 통합하는 유연한 어댑터 레이어 설계
• 통합 Postgres 스키마를 통해 복잡한 Join 없이 USD 기준 비용을 즉시 쿼리하는 데이터 정규화 전략
• 일시적 네트워크 오류 및 API Rate Limit 대응을 위한 지수 백오프(Exponential Backoff) 재시도 메커니즘 적용
• API Key 유출 방지를 위해 데이터베이스 저장 전 AES-256-GCM 암호화 적용
• Next.js 및 Shadcn UI를 활용한 비용 분석 및 예산 알림 대시보드 구현

Impact

• 특정 백그라운드 작업의 모델 오설정(gpt-4o 사용) 확인으로 월 예상 비용 $200 절감
• 전체 비용의 약 70%를 차지하던 비효율적 리소스 사용처 식별 및 Claude 3 Haiku로 교체

Key Takeaway

가시성(Observability)이 확보되지 않은 상태의 최적화는 잘못된 대상에 리소스를 낭비하게 함. 개발자 도구는 기존 코드 변경을 최소화하는 Frictionless 온보딩 설계가 핵심 경쟁력임.