월 $13 VPS 기반, YAML 설정 분리를 통한 자가 진화 Multi-Agent 시스템 구축

Day 1 — I'm Homeless. I Just Shipped an Autonomous Multi-Agent System.

PINGxCEO2026년 5월 9일8분intermediate

AI 요약

Context

단일 에이전트 기반의 취약한 구조로 인해 15회 미만의 Tool-call 제한과 메모리 부재라는 한계 직면. 실행 이력 저장 및 계획 수립 기능 부재로 인한 낮은 시스템 안정성 문제 발생.

실행 코드와 설정의 완전 분리를 통한 Config-driven 아키텍처 설계로 Python 코드 수정 없이 YAML 변경만으로 에이전트 진화 구현
Auditor-CEO 계층 구조 도입을 통해 작업 에이전트의 성능을 감사하고 CEO 에이전트가 KPI 기반으로 최종 승인하는 거버넌스 체계 구축
SQLite 기반 Metrics DB를 구축하여 CEO 에이전트가 환각 없이 실제 정량적 지표에 근거해 전략적 의사결정을 내리는 구조 설계
모든 설정 변경 사항을 Git Commit으로 관리하여 잘못된 자가 수정 발생 시 즉각적인 Revert가 가능한 안정 장치 마련
Gemini Flash-Lite 및 Pro 모델을 역할별로 배치하고 OpenRouter를 Fallback으로 구성하여 비용 효율성과 가용성 동시 확보
ChromaDB 임베딩 및 로컬 파일 시스템 활용으로 외부 Managed Service 없이 단일 VM 내 모든 인프라를 완결적으로 구성

실천 포인트

1. 에이전트의 자가 개선 로직 설계 시 실행 코드(Python)가 아닌 설정 파일(YAML/JSON)을 수정 대상으로 지정했는가

2. 에이전트의 의사결정 근거가 정성적 느낌(Vibes)이 아닌 정량적 지표(KPI) 데이터베이스에 기반하고 있는가

3. 모든 자율적 변경 사항에 대해 버전 관리(Git) 및 롤백 메커니즘이 포함되어 있는가

4. 인프라 비용 최적화를 위해 모델별 역할 분담(Routing)과 로컬 스토리지 활용 방안을 검토했는가

태그