113MB 경량 스택으로 구현한 Governance-as-Infrastructure 기반 AI Gateway

Governance-first AI gateway for teams that aren't ready for enterprise tooling

Zaka Ul Haque2026년 6월 15일6분intermediate

AI 요약

Context

규제 산업군에서 AI 도입 시 보안 감사 요구사항과 엔터프라이즈 플랫폼의 긴 도입 주기 사이의 간극 발생. 기존 LiteLLM이나 Kong 같은 솔루션은 과도한 DevOps 리소스 요구 및 외부 DLP 서비스 의존으로 인한 데이터 거버넌스 제약 존재.

Governance-as-Infrastructure 설계를 통한 API Key와 System Prompt, Model Allowlist, Rate Limit의 강제 결합 구조 구현
요청 경로 내 5단계 파이프라인(Auth $\rightarrow$ Prompt DLP $\rightarrow$ Hybrid Routing $\rightarrow$ Audit Log $\rightarrow$ Response DLP)을 배치하여 정책 강제성 확보
내부 Regex 엔진 기반의 Built-in DLP를 통한 PII 데이터의 외부 유출 차단 및 Perimeter 내 데이터 주권 유지
데이터 분류에 따른 Hybrid Routing으로 민감 데이터는 On-premises(Ollama, vLLM), 일반 데이터는 Cloud LLM으로 분기 처리
SHA-256 해시 기반의 Append-only PostgreSQL 로그 설계를 통해 개인정보 보호와 포렌식 무결성을 동시에 달성
OpenAI API 호환 인터페이스를 제공하여 클라이언트 코드 변경 없이 백엔드 인프라 교체 가능

실천 포인트

1. 데이터 거버넌스 요구사항이 높은 환경에서 DLP 서비스의 외부 의존성 및 데이터 전송 경로 검토

2. API Key 생성 시점에 권한, 모델, 프롬프트를 바인딩하여 런타임 정책 변경 리스크 제거

3. 민감도 분류 기반의 Hybrid Routing 설계를 통한 비용 최적화 및 데이터 주권 확보

4. 감사 로그 저장 시 Plaintext 대신 Hash 기반 저장 방식을 통한 Privacy-Preserving Audit Trail 구축

태그