LLM의 Compounding Error로 인한 Agentic AI의 신뢰성 붕괴와 Co-Pilot 전환

Context

LLM API 호출 루프와 도구 결합을 통한 자율적 Digital Employee 구현 시도. 하지만 10%의 낮은 성공률과 추론 단계별 오류가 누적되는 Compounding Error로 인한 엔터프라이즈급 신뢰성 확보 실패.

Technical Solution

• 자율적 결정권 부여 방식에서 Human-in-the-loop 기반의 Co-Pilot 구조로 아키텍처 전환
• General Purpose Agent의 모호한 목표 설정을 배제한 Narrow Agent 중심의 특화 작업 설계
• LLM 출력값의 실행 전 무결성을 검증하는 별도의 Verification Layer(Guardrails) 도입
• 단순 자율 실행 루프를 제거하고 초안 작성 및 중요 항목 플래깅 위주의 보조 시스템 구축
• 고비용의 반복적 Self-correction 루프를 최적화하여 Token 비용 상승 억제 및 ROI 개선