Announcing the AI Gateway Working Group

Context

Kubernetes 환경에서 AI 워크로드는 토큰 기반 속도 제한, 세분화된 접근 제어, 페이로드 검사, AI 특화 프로토콜 등의 특수한 네트워킹 요구사항을 가지고 있다. 기존 일반 네트워킹 인프라는 추론 API 보안, 콘텐츠 필터링, 지능형 라우팅, 캐싱 등 AI 워크로드의 구체적인 필요를 충족하지 못하고 있다.

Technical Solution

• Payload Processing 제안: HTTP 요청·응답 페이로드의 전체 검사 및 변환 기능으로 악성 프롬프트 방어, 콘텐츠 필터링, 시그니처 기반 탐지 지원
• 의미적 라우팅 및 지능형 캐싱: 요청 콘텐츠 기반 라우팅과 추론 비용 절감을 위한 캐싱 메커니즘 도입
• RAG(Retrieval-Augmented Generation) 시스템 통합: 컨텍스트 향상을 위한 외부 시스템과의 연계
• Egress Gateway 표준화: OpenAI, Vertex AI, Bedrock 등 외부 AI 서비스로의 보안 라우팅 및 인증 토큰 주입 기능
• Gateway API 기반 선언적 설정: 페이로드 프로세서 설정, 순서화된 처리 파이프라인, 설정 가능한 실패 모드를 Gateway API 위에 구현

Key Takeaway

Kubernetes의 Gateway API 표준 위에 AI 특화 기능을 계층화하는 접근은 보안, 관찰성, 신뢰성 기준을 유지하면서도 AI 워크로드의 고유한 요구사항을 충족하는 확장 가능한 아키텍처를 가능하게 한다.