AI 에이전트의 가드레일과 관찰성을 위한 Pipeline Middleware 설계 전략

Context

프롬프트 내 정책 기술 방식은 모델의 일관되지 않은 동작을 유발하는 한계 존재. 개별 Tool에 보안 로직을 중복 구현하는 방식은 유지보수 비용 증가와 규칙 파편화 초래. 비즈니스 로직과 횡단 관심사의 분리가 절실한 구조.

Technical Solution

• ASP.NET Core 및 Express.js의 Pipeline 패턴을 AI 에이전트 추론 루프에 이식한 설계
• 에이전트 실행 전체를 감싸는 Agent Middleware를 통한 입력 검증 및 감사 로그 처리
• 개별 도구 호출 단위를 제어하는 Function Middleware 기반의 인자 검증 및 실행 제어
• LLM 요청/응답의 raw 메시지를 처리하는 Chat Middleware를 통한 토큰 제어 및 캐싱 전략
• 공유 AgentContext 객체를 직접 변조하여 다운스트림 미들웨어로 상태를 전달하는 데이터 흐름
• 전역 정책 적용을 위한 Agent Level 등록과 요청별 맞춤 설정을 위한 Run Level 등록 범위 분리

Key Takeaway

AI 에이전트의 추론 과정은 단일 요청-응답 사이클이 아닌 다단계 루프이므로, 제어 지점을 계층별(Agent, Function, Chat)로 세분화하여 설계하는 것이 정합성과 유지보수성 확보의 핵심임.