AI 에이전트 비용 및 예측 가능성 제고를 위한 Fat vs Thin Harness 아키텍처 분석

Context

LLM 기반 에이전트 설계 시 런타임 계획 수립으로 인한 높은 Token 비용과 실행 결과의 불확실성 문제 발생. 모든 단계에서 모델의 판단에 의존하는 기존 Agentic 루프의 비효율성을 해결할 구조적 대안 필요.

Technical Solution

• Fat Harness: Open-ended 작업 수행을 위해 매 단계 LLM이 계획을 재수립하는 Runtime Loop 구조 채택
• Thin Harness: Build time에 파이프라인을 설계하고 런타임에는 판단이 필요한 특정 지점에서만 LLM을 호출하는 Deterministic 구조 설계
• Thin Harness 내 Trigger-Scoped Input-Predefined Output 체계를 통한 실행 경로의 정형화
• 모델의 창의성으로 인한 Drift 방지를 위해 워크플로우를 구조적 Artifact로 변환하여 컴파일 및 버전 관리 적용
• 반복적 생산 업무의 경우 LLM의 판단 로직을 코드 기반의 파이프라인으로 대체하여 실행 비용 최적화

Impact

• Slack AI 요약 기능 도입을 통해 100만 시간 이상의 업무 시간 절감 달성
• CrewAI의 2025년 채택률 280% 증가를 통한 Agentic 워크플로우 수요 확인

Key Takeaway

AI 에이전트 설계의 핵심은 모델 성능이 아닌 작업의 성격(Novelty vs Repetition)에 따른 아키텍처 선택임. 예측 가능한 반복 업무는 Deterministic 파이프라인으로, 탐색적 업무는 Agentic 루프로 분리하는 전략적 배치가 필수적임.