피드로 돌아가기
GeekNewsAI/ML
원문 읽기
Managed Agents 확장하기: 두뇌와 손을 분리하기
두뇌와 손의 인터페이스 분리를 통한 p95 TTFT 90% 이상 개선
AI 요약
Context
초기 Managed Agents는 세션, 하네스, 샌드박스가 단일 컨테이너에 결합된 구조로 설계됨. 이로 인해 컨테이너 장애 시 세션 유실이 발생하는 'Pet' 인스턴스 문제와 모델 업데이트에 따른 하네스 로직의 잦은 변경으로 인한 오버헤드가 병목 지점으로 작용함.
Technical Solution
- 하네스(두뇌), 샌드박스(손), 세션(로그)을 독립 인터페이스로 분리하여 구성 요소 간 결합도 제거
- 하네스를 컨테이너 외부로 이동시켜 샌드박스를 execute(name, input) 형태의 도구로 호출하는 구조로 전환
- 세션 로그를 append-only 이벤트 스트림으로 외부에 저장하여 하네스의 Stateless 상태 유지 및 장애 복구 메커니즘 구현
- 샌드박스 내 자격 증명 접근을 원천 차단하고 전용 프록시와 보안 볼트를 통한 토큰 관리로 보안 경계 강화
- 세션 로그의 getEvents() 인터페이스를 통한 슬라이싱 기법으로 LLM 컨텍스트 윈도우 한계를 극복하는 메모리 관리 체계 구축
- 필요 시에만 샌드박스를 프로비저닝하는 On-demand 구조를 통해 초기 추론 시작 대기 시간 제거
실천 포인트
1. 상태 저장소와 실행 로직을 분리하여 인스턴스를 'Pet'이 아닌 'Cattle'로 관리하고 있는가
2. 모델의 지능 향상으로 인해 기존의 제어 로직(Harness)이 오히려 병목이 될 가능성을 고려했는가
3. 외부 실행 환경(Sandbox)에 민감한 자격 증명이 직접 노출되지 않도록 프록시 계층을 두었는가
4. LLM 컨텍스트 제한을 해결하기 위해 내부 상태를 외부에 저장하고 필요한 부분만 슬라이싱하여 제공하는 구조인가