Claude Haiku 기반 9가지 AI 기능 구현 및 신뢰성 확보 전략

Context

GDPR 준수 시민 관리 플랫폼 CitizenApp의 서비스 고도화를 위해 비용 효율적이고 빠른 AI 기능 도입이 필요함. LLM의 Hallucination 및 SQL Injection 위험을 제어하면서 멀티테넌트 환경에서 수익성을 보장하는 아키텍처 설계가 핵심 과제임.

Technical Solution

• Cost 및 Latency 최적화를 위해 고성능 모델 대신 claude-haiku-4-5를 채택하여 응답 속도를 2초 미만으로 유지
• API 레이어에서 Credit System을 강제하여 AI 호출 전 잔액을 확인하고 실패 시 환불하는 과금 제어 로직 구현
• NL-to-SQL 변환 시 Allowed Columns 리스트 기반의 Prompt 제한과 Blocked Keywords 필터링을 통한 Defense in Depth 전략 적용
• LLM의 불안정한 응답을 제어하기 위해 Rigid JSON Schema를 강제하고 parse 실패 시 Fuzzy String Matching으로 Fallback 처리
• Token Budget 예측 가능성을 위해 로그 데이터 전송 시 최대 20개 이벤트로 제한하는 Capping 메커니즘 적용
• AI 전담 서비스 레이어(app/services/ai.py)를 구축하여 중앙 집중식 에러 핸들링 및 로깅 체계 수립