ActionLib: How I Cut My Agent's Token Usage by 97%

Context

LangChain, AutoGen, CrewAI 등 모든 AI 에이전트 프레임워크는 read_file, write_file, run_cmd 같은 동일한 기본 액션에 대해 매 호출마다 프롬프트를 재생성한다. read_file 액션 한 번에 프롬프트 생성 200토큰 + 실행 프롬프트 100토큰으로 액션당 300토큰이 소모되며, 이는 결정론적 작업에 불필요한 비용이다.

Technical Solution

• 결정론적 액션을 LLM 범위에서 제거: 에이전트가 액션명과 파라미터만 결정하고 실행은 로컬 Python으로 처리
• 내장 액션 19개 제공: IO(read_file, write_file, append_file, list_dir, file_exists, make_dir, remove_file), Shell(run_cmd, run_pipe), Net(http_get, http_post), Git(git_status, git_commit, git_branch, git_add), Text(grep, regex_replace, count_lines, word_count)
• 확장 가능한 레지스트리 구조: register() 함수로 커스텀 액션 등록 가능하며 모듈 기반으로 자동 발견
• 액션당 토큰 비용을 600토큰에서 20토큰으로 감소: 액션명과 파라미터만 LLM에 전달
• 프레임워크 독립성: 기존 LangChain, AutoGen, CrewAI 등과 호환되며 설정 불필요

Impact

• 액션당 토큰 사용량 97% 감소(600토큰 → 20토큰)

Key Takeaway

AI 에이전트의 최적화는 LLM이 판단이 필요한 영역(의사결정, 추론)에만 집중하고 결정론적 작업(파일 I/O, 셸 명령어, HTTP 호출)은 로컬 실행으로 분리하는 것이 핵심이다. 이 패턴을 통해 LLM을 얇은 오케스트레이션 레이어로 만들어 토큰 비용과 지연을 동시에 줄일 수 있다.