LLM 지능을 시스템 제어권으로 전환한 Agent OS 아키텍처 설계

Context

LLM의 추론 능력만으로는 프로덕션 환경의 운영 제약 조건을 충족하지 못하는 한계 존재. 오케스트레이션 레이어 부재로 인한 인프라 접근 권한 남용 및 예측 불가능한 코드 실행 리스크 발생.

Technical Solution

• Scheduler & Orchestrator 도입을 통한 Task 우선순위 관리 및 Recursive Loop 방지로 Race Condition 해결
• Short-Term Memory와 Vector DB 기반 Long-Term Memory를 연결한 Memory Manager 설계로 Context Window 제한 극복
• Sandbox 기반 Tool Manager 구축을 통해 직접 API 접근을 차단하고 격리된 컨테이너 환경에서 도구 실행
• Ephemeral Token 기반 Identity Manager 적용으로 Principle of Least Privilege(PoLP)를 통한 최소 권한 부여
• Deterministic Tracing 체계 구축을 통해 비결정적 LLM 출력물에 대한 Post-mortem 디버깅 및 감사 가능 구조 설계
• Technical Guardrails와 Human-in-the-Loop(HITL) 트리거를 결합한 이중 방어 체계로 고위험 변조 제어