Narrative와 Structure 분리를 통한 LLM Agent 산출물 검증 자동화

I make LLM agents author in two formats. Here's what stopped breaking.

Werner Kasselman2026년 5월 6일9분intermediate

AI 요약

Context

LLM Agent가 생성한 Markdown 기반 산출물의 일관성 부족과 비정형 데이터로 인한 검토 비용 증가 문제 발생. 모든 정보를 Schema에 강제할 경우 유연한 사고 과정과 설계 의도가 소실되는 Trade-off 존재.

Narrative(Markdown)와 Structure(TOML)의 명확한 역할 분리를 통한 데이터 관리 체계 구축
설계 의도 및 거부된 대안은 Narrative에 기록하여 인간 리뷰어의 맥락 이해 지원
Machine-checkable Invariants 및 의존성 DAG는 TOML로 관리하여 Validator를 통한 자동 검증 수행
YAML의 파싱 모호성과 JSON의 낮은 가독성을 배제하고 Python stdlib 지원 및 명확한 구문을 가진 TOML 채택
Review-readiness Gate, Contract Declaration, Evidence Matrix의 3단계 검증 체계 도입으로 재검토 사이클 감소
상태 변경 시 Flat File의 한계를 극복하기 위해 파생 데이터(Computed section)의 자동 관리 구조 설계

실천 포인트

1. Agent 산출물 중 자동 검증이 가능한 Invariants를 식별하여 Structure 포맷으로 분리했는가

2. 설계 의도(Intent)와 거부된 대안(Rejected alternatives)을 기록할 Narrative 공간을 확보했는가

3. 검토 시작 전 필수 아티팩트 존재 여부를 확인하는 Readiness Gate를 구축했는가

4. 모든 기술적 주장(Claim)을 뒷받침하는 증거(Evidence)와 제외 범위(Exclusions)를 명시했는가

5. 상태 변화가 잦은 파생 데이터(Derived values)를 Flat File에 수동 기록하고 있지 않은가

태그