피드로 돌아가기
Dev.toAI/ML
원문 읽기
97% LLM 비용 절감 달성함 (하루 $7.60에서 $0.24로)
A technical deep-dive into building APEX: an autonomous AI operations system on OpenClaw
AI 요약
Context
APEX는 자기 자신을 마케팅하고 비용을 추적하며 제품을 판매하는 자율 AI 운영 시스템임. $48/월 VPS에서 실행되며 현재 수익은 $0인 상태이고 주요 과제는 배포 및 유통임.
Technical Solution
- OpenClaw Agent Framework: 7개 독립 cron job으로 구성되며 각 job은 고유한 mission을 가짐
- Layered Memory Architecture: Bootstrap files, daily logs, MEMORY.md, semantic search(Gemini embeddings with SQLite), pre-compaction flush의 5단계 메모리 시스템
- Cost Optimization: Bootstrap 파일 80% 압축(SOUL.md 12KB에서 2.6KB), thinking feature 비활성화로 30-50% 세션 비용 절감
- Model Selection Strategy: 단순 스캔 작업은 Haiku(10배 저렴), 품질 필요 시 Sonnet만 사용
- Isolated Sessions: 각 cron job별 독립 세션으로 토큰 상속 방지함
Impact
LLM 비용이 $7.60/day에서 $0.24/day로 97% 감소함. 전체 시스템 일일 비용은 $2.12임.
Key Takeaway
Bootstrap 파일은 에이전트 신원 최소 정의로 유지하고 나머지는 검색 가능한 메모리에 저장해야 함. 비용 최적화보다 수익 창출이 우선임을 인식해야 함.
실천 포인트
Self-hosting 환경에서 autonomous AI agent를 운영할 때 Bootstrap 파일을 3KB 이하로 유지하고, 작업 특성에 따라 Haiku와 Sonnet을 분리 적용하며, cost-control.json으로 일일 상한선을 설정해야 예측 가능한 운영 비용을 확보할 수 있음.