Capability 중심 AI에서 Responsibility 기반 거버넌스 런타임으로의 설계 전환
Dispatches from O'Reilly: From capabilities to responsibilities
AI 요약
Context
LLM의 능력을 활용한 Capability 중심 설계는 프롬프트 기반 제어에 의존하여 고위험 환경에서 신뢰성 확보에 한계 노출. 특히 Human-in-the-Loop 모델은 트래픽 증가 시 검토자의 Alert Fatigue를 유발하여 실질적인 거버넌스 기능을 상실하는 운영 병목 현상 발생.
Technical Solution
- Deterministic Execution Kernel 도입을 통한 AI 에이전트의 제안 동작과 실제 실행 단계의 물리적 분리
- Capability(할 수 있는 일)를 넘어 Responsibility(권한과 제약 조건) 중심의 명시적 경계 정의
- RBAC(Role-Based Access Control) 개념을 AI 에이전트에 적용하여 실행 가능한 상태와 한도(Limit)를 런타임 수준에서 강제
- JIT State Verification 및 DFID-correlated Telemetry를 통한 실행 직전 상태 검증 및 추적성 확보
- 정책 설계는 인간이 담당하고 실행 강제는 런타임이 수행하는 자동화된 거버넌스 구조 설계
- 예외 상황 발생 시에만 인간에게 에스컬레이션하는 효율적 운영 모델 구축
실천 포인트
- AI 에이전트의 권한 제어를 프롬프트가 아닌 인프라/런타임 계층에서 구현했는지 검토 - 에이전트가 수행할 수 있는 동작의 최대 한도(금액, 수량, 시간 등)를 수치적으로 정의한 Responsibility Matrix 작성 - 모든 Side-effect 발생 전 상태를 검증하는 Deterministic Kernel 계층 설계 여부 확인 - 단순 승인 절차가 아닌, 정책 위반 시 자동 차단되는 Enforcement Pattern 적용