피드로 돌아가기
Dev.toAI/ML
원문 읽기
Human-in-the-Loop를 넘어선 Queue 기반의 Agentic AI 런타임 설계
Approval Queues Are the Runtime for Agentic AI Workflows | Focused Labs
AI 요약
Context
기존의 Human-in-the-Loop 구현 방식이 단순한 Tool-call 정책이나 단순 체크박스 형태로 처리되어 실질적인 비즈니스 리스크 관리에 한계 노출. 단순 채팅 인터페이스 기반의 검토 방식은 상태 유지와 추적 가능성이 결여되어 엔터프라이즈급 자율성 확보에 부적합한 구조임.
Technical Solution
- 비즈니스 리스크가 있는 Side effect 발생 시 실행 상태를 Persistence layer에 저장하고 제어권을 인간에게 위임하는 Queue Semantics 도입
- 단순 승인 버튼이 아닌 Action, Arguments, Risk Reason, Checkpoint Pointer, Trace Link를 포함한 고밀도 Approval Item 설계
- LangGraph의 Interrupt 모델을 활용하여 Thread ID 기반으로 중단 지점의 상태를 완전히 보존하고 Command(resume=...)를 통한 정밀한 실행 재개 구현
- 모델 Context 외부의 별도 저장소에 Queue Item을 배치하여 상태 격리와 감사 추적(Audit Log)의 독립성 확보
- 결정 결과와 수정 사항을 Evaluation 루프로 피드백하여 시스템의 지속적 성능 개선을 유도하는 운영 루프 구축
실천 포인트
- Approval Item에 실행 전/후 상태와 추적 가능한 Trace ID가 포함되었는지 확인 - 중단된 작업의 재개 시 새로운 세션이 아닌 기존 Thread ID와 Checkpoint를 통해 상태를 복구하는지 검토 - 승인/거절/수정의 각 결정에 대해 책임자(Owner)와 타임아웃, 에스컬레이션 경로가 정의되었는지 체크 - 모든 인간의 결정 데이터를 Evaluation 데이터셋으로 자동 변환하는 파이프라인 구축 여부 확인