AI Agent Framework

Context

LLM 기반 에이전트 시스템을 구축할 때 다중 에이전트 조율, 도구 등록 및 검증, 상태 유지, 실행 추적 등 반복되는 인프라를 매번 새로 만들어야 했다. 특히 고위험 작업(API 호출, 데이터 변경)에 대한 사용자 승인 게이트와 에이전트 루프 방지 메커니즘이 프로덕션 환경에서 필수적이었다.

Technical Solution

• Planner(작업 분해) → Router(에이전트 할당) → Evaluator(완료도 검증) 3단계 오케스트레이션 구조 도입
• ToolRegistry를 통해 Python 함수를 도구로 등록하고 자동으로 JSON 스키마 생성, 입력 검증, 재시도 로직 처리
• ConversationMemory(최근 N개 턴 보관) + VectorMemory(의미론적 유사도 기반 장기 메모리)의 2계층 메모리 시스템 구현
• ReAct, Plan-and-Execute, Tree-of-Thought 3가지 계획 패턴 제공 및 max_iterations 제한으로 토큰 오버런 방지
• send_email, execute_sql, deploy_service 등 고위험 도구에 대해 require_approval 플래그로 사람 승인 게이트 추가 (타임아웃 300초 설정 가능)
• 모든 에이전트 스텝, 도구 호출, 의사결정 포인트를 trace 로그(JSON 형식)로 기록 및 개발 환경에서만 프롬프트 포함 옵션 제공
• 라운드로빈, 역량 기반, 경매 방식 3가지 위임 전략(DelegationStrategy) 제공 및 max_delegation_depth로 무한 위임 방지
• 에이전트 응답에 Pydantic 모델 기반 JSON 스키마 강제 및 retry_on_parse_failure로 형식 오류 시 자동 재시도
• SQLite, Redis, PostgreSQL 지원 메모리 백엔드 및 ChromaDB 기반 임베딩 벡터 스토어(embedding_model: text-embedding-3-small)

Key Takeaway

LLM 에이전트 시스템에서 단일 에이전트부터 시작하되, 작업 범위가 증명된 이후에만 다중 에이전트 오케스트레이션을 추가하고, 모든 상태 변경 도구에는 프로덕션에서 사람 승인 게이트를 필수로 설정하며, 토큰 소비 추적을 통해 계획 루프의 비용 오버런을 사전에 방지해야 한다.