개발자가 Cloudflare Workers AI 기반의 영구적 로그 미기록 LLM API를 단半天에 구축했다

Context

대부분의 LLM API 제공자(OpenAI, Anthropic, Google)는 사용자 프롬프트를 로그로 기록한다. 의료, 금융, 법률 같은 민감 데이터를 다루는 기업에서는 이 점이 장애 요소가 된다.

Technical Solution

• Cloudflare Workers를 통해 엣지 라우팅, 인증, 키 관리 수행
• Cloudflare KV에 API 키만 저장하고 프롬프트나 응답은 저장하지 않음
• Stripe 웹훅 연동으로 결제 후 60초 이내 API 키 이메일 발송
• /v1/chat/completions 엔드포인트에서 Workers AI로 직접 요청 라우팅
• 추론 경로에서 데이터베이스 쓰기 작업 완전히 제거

Impact

인프라 운영 비용이 사실상 제로에 가까움

Key Takeaway

제로 로깅은 개인정보 처리방침이 아닌 아키텍처 결정 사항이다. 추론 경로의 모든 Persistent Storage에 데이터 미기록을 구현해야 진정한 프라이버시 보장 가능