피드로 돌아가기
Dev.toAI/ML
원문 읽기
결정론적 3계층 안전 구조를 통한 LLM 무한 루프 및 할루시네이션 제거
Three-Layer Safety for Autonomous Agents: Stopping the Infinite Loop
AI 요약
Context
LLM의 확률적 특성으로 인한 JSON 문법 오류와 API 할루시네이션이 무한 루프를 유발하여 토큰 낭비 및 시스템 불안정 초래. 단순 Prompting이나 Supervisor Agent 도입은 Latency 증가와 비용 상승만 초래할 뿐 근본적인 결정론적 경계(Deterministic Boundary)를 제공하지 못함.
Technical Solution
- Token-Level Schema Enforcement: Ollama의 native format 파라미터를 활용하여 Token Sampling 단계에서 스키마를 강제함으로써 JSON 문법 오류 원천 차단
- ActionGate 도입: LLM을 배제한 하드코딩 비즈니스 로직 기반의 Deterministic Middleware를 구축하여 실행 전 상태 체크 및 유효성 검증 수행
- Execution Isolation: 에이전트의 출력을 Shell Argument가 아닌 데이터(stdin)로 처리하여 인프라 계층의 실행 안전성 확보
- Hardware Optimization: VRAM 압박으로 인한 502 Timeout 해결을 위해 32B 모델 대신 Qwen 2.5 14B 모델을 채택하여 추론 안정성 확보
- Memory Architecture: 6계층 메모리 구조를 적용하여 오래된 컨텍스트로 인한 잘못된 액션 수행 방지
실천 포인트
- Prompt Engineering으로 JSON 형식을 제어하기보다 모델 수준의 constrained sampling API(예: Ollama format) 적용 검토 - LLM의 판단에 의존하는 Safety Check 대신 하드코딩된 비즈니스 룰 기반의 ActionGate 배치 - VRAM 제약 조건에 따라 무조건적인 대형 모델 채택보다 추론 안정성을 보장하는 적정 사이즈 모델 선정