Genkit Middleware를 통한 Agentic Loop의 런타임 복원력 및 토큰 효율 최적화

Context

LLM 기반 Agentic Workflow에서 빈번히 발생하는 런타임 에러, 무한 루프로 인한 비용 낭비, Context Window 초과 문제를 해결하기 위한 설계적 접근 필요. 기존의 단순 try/catch나 턴 카운터 방식은 누적된 컨텍스트 손실과 예외 처리의 파편화라는 한계를 가짐.

Technical Solution

• generateMiddleware() API를 통한 Model, Generate, Tool 레이어별 인터셉터 구조 설계
• Model Hook을 통한 API 응답 제어로 503 에러 발생 시 전체 크래시 대신 finishReason: 'aborted'를 반환하는 softFail 메커니즘 구현
• Recursive 구조의 Generate Hook을 활용해 턴별 메시지 상태를 추적하고 루프 종료 조건을 동적으로 제어하는 smartMaxTurns 로직 적용
• Tool Hook 단에서 입출력을 가로채 불필요한 데이터를 제거함으로써 Context Window 점유율을 최적화하는 contextCompression 전략 도입
• retry, fallback, toolApproval 등 기본 제공 미들웨어를 체이닝하여 일시적 오류 복구와 모델 전환이 가능한 파이프라인 구성
• 타입 안전한 configSchema 정의를 통해 런타임 시점에 유연한 미들웨어 설정 변경이 가능한 아키텍처 구축