AI 에이전트 개발에서 스펙은 먼저 작성하는 설계서가 아니라 실험을 통해 Earn한 결과물이다

Context

AI 에이전트가 코드를 분 단위로 생성할 수 있게 되면서 무언가를 구축하는 비용은 급격히 하락했다. 그러나 무엇을 구축해야 하는지를 판단하는 비용은 여전히 높게 유지되고 있다. Sun Tzu의 작전 원칙을 AI 에이전트 시스템 개발에 적용하는 이 책은 이러한 격차를 메우는 방법을 제시한다.

Technical Solution

• 스펙 → 실험적 프로토타입을 먼저 구현하고 실제 사용자 피드백을 통해 점진적으로 정의하는 방식으로 전환
• 도구 → 모델이 결정만 내릴 수 있도록 정확한 파라미터를 수용하고 결정은 모델에게 위임하는 역할 분리
• 시스템 → 도구 화이트리스트, 스키마 검증, 출력 파싱, 토큰 및 반복 횟수 제한을 통해 신뢰할 수 없는 동작 강제
• 실패 실험 → 코드는 폐기하고 학습 내용만 축적하여 다음 아이디어에 재활용하는 컴포스트 사이클 활용
• LLM 활용 판단 → SQL 쿼리나 규칙 엔진으로 충분한 경우엔 LLM 사용을 지양하는 설계 원칙 적용

Impact

구체적 수치 변화 없음

Key Takeaway

스펙은 설계의 시작점이 아니라 실험을 통해 Earn하는 결과물이다. 좋은 도구 설계가 에이전트의 성능을 결정하며, 모델의 역할은 계산이 아닌 판단이다.