Vision Agent 대비 API Agent의 토큰 소모량 45배 절감 및 성능 최적화

Context

AI Agent의 서비스 자동화 구현 시 Human Visual Interaction 모사 방식의 높은 비용과 낮은 정확도 문제 발생. UI 스크린샷 기반의 Vision Agent는 시각적 정보 처리 과정에서 과도한 리소스를 소모하는 구조적 한계 보유.

Technical Solution

• UI 렌더링 결과물인 스크린샷 대신 HTTP Endpoints를 직접 호출하는 API Agent 아키텍처 채택
• 비정형 이미지 데이터 분석 과정을 제거하고 구조화된 데이터(Structured Data)를 직접 수신하는 파이프라인 설계
• 브라우저 내 Scroll 동작 등 UI 제어 로직을 API 호출로 대체하여 누락 없는 데이터 접근 보장
• 시각적 추론 단계 제거를 통한 추론 시간 단축 및 LLM 입력 컨텍스트 최적화
• 제어 가능한 내부 시스템에 대해 UI 에뮬레이션이 아닌 도구(Tools) 기반의 인터랙션 인터페이스 구축

Impact

• 토큰 소모량: Vision Agent(약 538,000 tokens) 대비 API Agent(약 13,000 tokens)로 약 45배 절감
• 실행 속도: Vision Agent(약 17분) 대비 API Agent(약 20초)로 획기적 성능 향상
• 정확도: UI 스크롤 누락으로 인한 데이터 유실 없는 완벽한 Task 수행 달성

Key Takeaway

제어 권한이 있는 내부 시스템 자동화 시 Vision-based 접근보다 API-first 설계를 우선하여 비용 효율성과 결정론적 정확성을 확보해야 함.