피드로 돌아가기
Dev.toAI/ML
원문 읽기
LLM 자율성 제어를 위한 Deterministic Tool-call 가드레일 Faramesh 도입
Put a hard stop in front of your CrewAI crew's tool calls
AI 요약
Context
CrewAI와 같은 Multi-agent 시스템에서 모델의 자율적 Tool call 과정에 제어 장치가 부재하여 발생하는 비결정적 동작 문제 분석. 프롬프트 엔지니어링이나 리뷰용 LLM 추가 방식은 낮은 신뢰도와 Latency 증가라는 한계를 가짐.
Technical Solution
- LLM 추론 경로와 분리된 Local Daemon 기반의 Deterministic Policy Engine 설계
- GovernedToolSet 래퍼를 통한 Agent별 고유 Identity 부여 및 개별 권한 관리 구조 채택
- Default Deny 원칙 기반의 화이트리스트 정책을 통해 명시적 허용 외 모든 Tool call 차단
- Permit, Defer, Deny의 3단계 상태 제어로 Human-in-the-loop 승인 프로세스 구현
- Rate Limit 및 Budget 설정을 통해 API 오남용 방지 및 비용 상한선 강제
- Agent 간 Delegation 시 Scope와 TTL을 정의하여 권한 전이 과정의 보안 무결성 확보
실천 포인트
- LLM의 Action 단계에 결정론적(Deterministic) 검증 레이어를 배치하여 예측 가능성 확보 - Agent별 역할에 따라 최소 권한 원칙(Principle of Least Privilege)을 적용한 정책 파일 관리 - 예외 상황 발생 시 단순 차단이 아닌 Defer(보류) 상태를 활용한 운영자 개입 경로 설계 - Multi-agent 환경에서 Agent 간 업무 위임 시 전이되는 권한 범위를 명시적으로 제한