피드로 돌아가기
GeekNewsAI/ML
원문 읽기
Show GN: Agent-Blackbox - Claude Code/OpenCode 실행을 세션 맵과 토큰 낭비 분석으로 보는 도구
Agent 실행 기록 가시화로 토큰 사용량 44% 절감 및 효율성 99점 달성
AI 요약
Context
AI Agent의 최종 요약 정보와 실제 리소스 소모 간의 낮은 상관관계(0.39)로 인한 비용 추정 불가 문제 발생. 실행 과정 중 발생하는 파일 읽기 및 Bash 명령의 반복성, 비효율적 Context 사용을 파악하기 어려운 블랙박스 구조의 한계 존재.
Technical Solution
- Agent의 최종 요약 파싱 대신 실제 이벤트 스트림을 직접 기록하는 Event-driven 로깅 구조 설계
- ~/.claude/projects transcript 파일 Tail링 및 OpenCode 글로벌 플러그인 연동을 통한 실시간 데이터 수집
- 파일 읽기, 수정, Bash 실행, 서브에이전트 위임 등 개별 이벤트를 세션 맵으로 시각화하는 분석 엔진 구현
- 반복 파일 읽기 및 낮은 Prompt Cache 활용도 등 컨텍스트 낭비 패턴을 탐지하는 효율성 분석 로직 적용
- 분석된 낭비 요소를 AGENTS.md 또는 CLAUDE.md에 피드백 루프로 기록하여 다음 실행 시의 Prompt 최적화 유도
- 별도 API Key 없이 로컬 환경에서 동작하는 Zero-dependency 아키텍처 채택
Impact
동일 작업 반복 실행 결과 토큰 사용량 939k에서 521k로 감소 및 컨텍스트 효율 점수 80점에서 99점으로 상승
실천 포인트
1. Agent의 요약 결과물에 의존하지 말고 원시 이벤트 로그 기반의 관측 가능성(Observability)을 확보하십시오.
2. 반복적인 파일 읽기나 무의미한 재시도 패턴을 식별하여 컨텍스트 윈도우 낭비를 최소화하십시오.
3. 분석된 비효율 사례를 지식 베이스(MD 파일 등)에 기록하여 Agent의 실행 전략을 지속적으로 개선하십시오.