Strong Model 기반 Planning과 Cheap Executor 분리로 AI 코딩 비용 81% 절감

I built TokenPatch to measure AI coding cost per applied patch

leo Yan2026년 5월 23일2분intermediate

AI 요약

Context

단순 구현 패치 작업에도 고비용의 Frontier Model을 전방위적으로 사용하여 발생하는 리소스 낭비 문제 발생. API Request 단위의 비용 측정 방식으로는 실제 적용된 패치(Applied Patch) 기준의 작업 효율성 파악이 불가능한 한계 존재.

Planning과 Execution 역할을 분리하여 Strong Model은 설계 및 판단에만 집중하고 실제 Diff 생성은 Cheap Executor가 담당하는 구조 설계
Bounded Implementation 방식으로 실행 범위를 특정 파일로 제한하여 저가형 모델의 Context 이탈 및 오류 가능성 제어
Local Validation 프로세스를 도입하여 생성된 패치의 적용 여부와 테스트 통과 여부를 즉시 검증하는 파이프라인 구축
'Cost per Applied Patch'라는 새로운 메트릭을 정의하여 요청 비용이 아닌 최종 반영된 변경 사항 기준의 경제성 분석
BYOK(Bring Your Own Key) 및 DeepSeek-compatible 인터페이스 채택을 통한 Executor 모델 교체 유연성 확보

실천 포인트

1. 고비용 LLM 사용 시 'Planning(상위 설계)'과 'Execution(단순 구현)' 단계를 분리하여 비용 최적화 검토

2. AI 생성 결과물의 유효성을 검증하는 Local Validation 루프를 설계하여 저가형 모델 도입 리스크 완화

3. 단순 API 호출 비용이 아닌 '최종 성공한 작업 단위' 기준의 비용 지표(Unit Economics) 수립

태그