Harness Engineering 중심의 고신뢰성 AI Agent 설계 프레임워크

Context

대부분의 AI Agent 성능 저하를 모델 성능 부족이 아닌 Harness(시스템 프롬프트, 도구, 샌드박스 등)의 구성 문제로 정의. 모델은 고정된 함수로 취급하며 이를 둘러싼 오케스트레이션 계층의 정밀한 설계가 전체 품질의 80%를 결정하는 구조적 한계를 분석.

Technical Solution

• Async Generator 기반의 Loop 설계를 통해 Backpressure 처리와 취소 가능성 및 Typed Terminal State를 구현한 상태 머신 구조 채택
• Model과 Harness를 분리하고 ConversationState만을 유일한 가변 상태로 유지하는 Append-only Event Log 기반의 Stateless 아키텍처 설계
• Prompt Cache 히트율 최적화를 위해 아키텍처 수준에서 4단계 Context Compression 파이프라인을 구축하여 토큰 비용 절감 및 속도 향상
• Vector DB 대신 File-based Memory와 LLM Recall Side-query 방식을 도입하여 메모리 로딩의 투명성과 제어권 확보
• 도구별 권한 부여가 아닌 Invocation 단위의 Safety 검증 체계를 구축하여 실행 시점의 동적 보안 리스크 제거
• SDK와 Application의 엄격한 분리를 통해 Local/Docker Workspace를 자유롭게 교체 가능한 2계층 Composability 구조 구현