Open-weight LLM 기반의 Ambient Daemon으로 Context Reconstruction 비용 제거

Context

기존 AI 어시스턴트의 Request/Response 구조로 인한 휘발성 컨텍스트 유지 한계 발생. API 비용 문제로 인해 상시 구동되는 백그라운드 에이전트 도입이 경제적으로 불가능했던 상황 분석.

Technical Solution

• Open-weight 모델(Hermes 3) 도입을 통한 Token 비용 제거 및 Local Inference 환경 구축
• 모델 사이즈별 Router-Specialist 패턴 적용으로 8B 모델의 이벤트 분류 및 70B 모델의 정밀 분석 수행
• Native Function Calling 기능을 활용하여 프롬프트 엔지니어링 없이 정교한 Tool-use 아키텍처 구현
• Vector Store와 Structured Index를 결합한 Memory Layer를 통해 에이전트 간 상태 공유 및 지속성 확보
• Reactive, Scheduled, On-demand 세 가지 트리거 경로를 통한 효율적인 리소스 관리 및 Priority-aware Queue 적용
• Local-first 설계를 통한 데이터 유출 방지 및 Private Repo, Slack 로그의 전방위적 Ingestion 실현