Harness 기반 Idempotency Key 설계를 통한 LLM 에이전트 중복 결제 원천 차단

Your Agent's Retries Are Double-Charging Your Users (and Every Eval Is Green)

Saurav Bhattacharya2026년 7월 1일7분advanced

AI 요약

Context

네트워크 타임아웃으로 인한 하네스 및 인프라 계층의 Retry 발생 시, LLM 에이전트의 도구 호출이 중복 실행되는 Side-effect 문제 발생. 모델의 추론 능력에 의존한 중복 확인 방식은 비결정적 특성으로 인해 5%의 확률로 실패하며, 이는 실제 운영 환경에서 심각한 금전적 손실로 이어지는 구조적 한계 존재.

Technical Solution

모델이 아닌 Harness 계층에서 Tool, Args, RunId를 조합한 SHA-256 해시 기반 Idempotency Key 생성
실행 전 Ledger 시스템에서 해당 키의 상태를 확인하여 이미 Committed 된 요청은 결과값만 Replay 하는 구조 설계
In-flight 상태 관리를 통해 동시성 요청에 의한 중복 실행을 방지하는 Write-ahead 로직 적용
외부 시스템(Stripe 등)에 생성된 키를 전달하여 인프라 전 계층에서 Exactly-once 실행 보장
AgentLens를 통해 모델이 조작할 수 없는 실행 Trace를 기록하여 검증 데이터의 무결성 확보
agent-eval을 활용해 외부 시스템의 실제 상태와 Trace를 대조하는 Tier 1 결정론적 검증 체계 구축

실천 포인트

- LLM이 생성한 값 대신 실행 컨텍스트 기반의 Idempotency Key를 생성하고 있는가 - Retry 로직이 모델의 Reasoning 단계가 아닌 인프라/클라이언트 계층에서 동작함을 인지하고 있는가 - 모델의 자가 보고(Self-report)가 아닌 외부 시스템의 Ground Truth를 통해 side-effect를 검증하는 Tier 1 Eval 체계를 갖췄는가 - 모든 도구 호출의 입력, 출력, 키 값을 포함한 조작 불가능한 Trace를 기록하고 있는가

태그

#Exactly-Once #Side Effect #Idempotency #LLM-Agent #Observability

원문 읽기