16GB MacBook에서 14개 AI Agent를 23일간 무중단 운용

Context

고성능 하드웨어(Mac Studio 64GB) 중심의 LLM 운용 관습에서 탈피하여 저사양 환경의 제약 사항을 분석한 사례임. Naive Parallelism으로 인한 OOM 발생 및 무분별한 Context 확장으로 인한 비용 상승과 성능 저하가 주요 병목 지점으로 식별됨.

Technical Solution

• Sequential Dispatcher 도입을 통한 Concurrent Agent 수를 2개로 제한하여 Memory Peak치 제어
• Nightly Compaction 루틴 설계로 90,000단어의 Memory 파일을 12k Tokens 미만으로 압축하여 Context 비용 최적화
• Role-based Skill Loadout 적용을 통해 불필요한 System Prompt 토큰 낭비를 방지하고 유효 Context Window 확보
• Heartbeat 메커니즘과 Watchdog 프로세스를 구축하여 Tool-call 도중 발생하는 Silent Stall 상태를 감지하고 자동 복구
• Wave-based Orchestration 설계를 통해 상태 머신 기반의 순차적 작업 수행 및 리소스 Drain 구조 구현