Model-Agnostic 설계와 Execution 분리를 통한 Self-hosted AI Agent 인프라 구축

Hermes AI Assistant - Install, Setup, Workflow, and Troubleshooting

Rost2026년 4월 10일9분intermediate

AI 요약

Context

특정 LLM Provider 종속성으로 인한 유연성 부족과 대화(Chat)와 실행(Execution)의 혼재로 인한 안전성 및 재현성 확보의 어려움 존재. 로컬 환경 및 저비용 VPS에서 지속 가능하게 동작하는 AI 인프라의 필요성 증대.

OpenAI-compatible API 표준 채택을 통한 Model-agnostic 아키텍처 설계로 Provider 교체 비용 최소화
Conversation과 Execution 레이어의 엄격한 분리를 통한 툴 실행의 안전성 및 디버깅 가능성 확보
~/.hermes 경로 내 설정(config.yaml), 비밀값(.env), 상태(memories, skills)를 통합 관리하는 State-centric 구조 설계
CLI Override > config.yaml > .env > Default 순의 Config Precedence 전략을 통한 유연한 환경 설정 구현
반복 과업의 Skill 자산화를 통한 에이전트의 지속적 성능 개선 루프 구축
Docker 및 SSH 기반의 Configurable Execution Backend를 통한 런타임 격리 및 환경 제어

실천 포인트

1. LLM 도입 시 특정 벤더 종속성을 피하기 위해 OpenAI-compatible 인터페이스 표준 준수 여부 검토

2. AI의 도구 실행 권한을 제어하기 위해 실행 백엔드(Sandbox, Docker 등)를 논리적으로 분리하여 설계

3. 에이전트의 상태(State)와 설정(Config)을 단일 디렉토리 기반으로 구조화하여 백업 및 복구 전략 수립

4. `doctor`, `status`, `dump`와 같은 진단 명령어를 설계하여 분산된 설정 값의 무결성을 빠르게 검증

태그