GPT-5.4의 6.5배 높은 Over-editing으로 인한 토큰 낭비 및 비용 최적화 전략

Context

LLM의 코드 수정 시 기능적 정답 여부와 별개로 불필요한 코드 변경을 생성하는 Over-editing 현상 발생. 추론 예산 증가가 최소 편집 능력 향상으로 이어지지 않아 불필요한 Output Token 비용이 증가하는 구조적 한계 노출.

Technical Solution

• Over-edit Ratio 측정을 통한 모델별 토큰 효율성 정량화
• Output Tokens를 Green Tests 달성 최소 필요 토큰으로 나눈 지표 설계
• Agent별 Full Diff 로그 수집 및 Offline Patch-min 기반의 Diff Size Ratio 계산
• Over-edit Ratio 0.2 이하를 SLO로 설정하여 모델 성능 관리 체계 구축
• 고위험 최소 수정 작업으로의 라우팅 시 Over-edit Score 0.1 미만 모델 우선 배치
• LLMeter Attribution Layer를 통한 고객 및 에이전트 단위의 정밀 비용 추적

Impact

• GPT-5.4의 Normalized Levenshtein Distance(0.395)가 Claude Opus 4.6(0.060) 대비 6.5배 높음
• 동일 작업 시 월 40k edits 기준 예상 비용 $300(Opus)에서 $1,950(GPT)로 증가
• Pass@1 Correctness(0.723-0.912)는 유사하나 불필요한 비용 지출 발생

Key Takeaway

모델의 추론 능력 향상이 반드시 효율적인 코드 생성으로 이어지지 않음을 인지하고, 정량적 지표 기반의 모델 라우팅 전략을 통해 비용과 품질의 Trade-off를 최적화해야 함.