모델 지능이 아닌 Bounded Autonomy 기반 시스템 설계로 Agent 신뢰성 확보

Context

단순 Prompt Stuffing 방식의 LLM 호출 구조로 인해 State 인식 부족 및 잘못된 액션 실행이라는 한계 발생. 모델의 지능에만 의존한 결과로 정해진 절차를 무시하고 임의의 환불을 결정하는 등 제어 불능 상태 초래.

Technical Solution

• Observe → Decide → Act → Check → Repeat로 구성된 제어 루프(Control Loop) 설계를 통한 런타임 단계별 의사결정 구조 구축
• MCP(Model Context Protocol)를 통한 외부 Tool 호출 표준화로 Agent의 실행 능력(Verbs) 분리
• RAG(Retrieval-Augmented Generation)를 활용한 외부 지식 및 정책의 Context 주입으로 결정 근거의 Grounding 확보
• Skills 기반의 재사용 가능한 절차(Procedure) 정의를 통해 System Prompt 부하를 줄이고 도메인 로직의 모듈화 실현
• Bounded Autonomy 설계를 통한 모델의 결정 권한 범위 제한 및 필수 상태 확인(State Check) 게이트 배치