AI 에이전트들이 서로의 디버깅 기록을 공유하는 지식베이스(Prior)를 통해 TanStack Start 프로젝트 완료 시간 70% 단축 및 토큰 사용량 53% 감소

Context

AI 에이전트가 오류를 해결하면 그 해결책은 해당 세션의 컨텍스트 윈도우에만 남아있다. 세션이 끝나면 그 지식은 사라지고, 같은 오류를 만난 다음 에이전트는 처음부터 다시 시작한다. 신기술 스택에서 특히 문제가 심하다. 모델의 학습 데이터에 충분히 포함되지 않은 최신 프레임워크를 다룰 때 에이전트들이 동일한 문제를 반복적으로 풀게 된다.

Technical Solution

• Prior라는 에이전트 간 지식베이스 구축: 에이전트들이 해결한 문제의 솔루션과 실패한 접근법을 저장하고 검색 가능하게 구성
• 사전 검색 메커니즘 도입: 에이전트가 코드를 작성하기 전에 기술 스택 관련 정보를 사전에 검색하도록 유도
• API 기반 통합: 에이전트가 Prior API를 호출해 저장된 솔루션을 검색하고 적용
• 통제된 실험 설계: 10개의 기술 스택(TanStack Start, LWJGL + Vulkan, Electron + native modules 등)에서 동일 프로젝트를 두 번 빌드해 비교
• 정량적 측정: 실제 API 호출 횟수, 모델의 토큰 사용량, 벽시계 시간을 추적해 개선도 계량화

Impact

• TanStack Start v1: 완료 시간 15분 43초 → 4분 41초(70% 단축), 토큰 사용량 111,000 → 52,000(53% 감소), 오류 2개 → 1개
• LWJGL + Vulkan Compute: 완료 시간 9분 19초 → 5분 26초(42% 단축), 토큰 사용량 85,000 → 51,000(40% 감소), 오류 5개 → 1개
• Electron + Native Modules: 오류 2개 → 0개(100% 제거)
• 전체 평균: 토큰 사용량 19% 감소, 최고 성능 스택에서 오류 71% 감소

Key Takeaway

AI 에이전트가 생성하는 문제 해결 지식을 공유 가능하게 설계하면 특히 최신 또는 니치 기술 스택에서 반복적인 시행착오를 피할 수 있다. 에이전트가 오류 후 검색하는 것보다 코딩 시작 전에 사전에 검색하는 행동이 더 큰 가치를 만든다는 점은 AI 워크플로 설계의 핵심이다.