AI 에이전트 개발자가 LLM 출력을 Pydantic 스키마 검증으로 강제하여 JSON 파싱 실패를 근본적으로 제거

Context

AI 에이전트 개발자들은 LLM에게 구조화된 데이터를 반환하도록 프롬프트하지만, 확률적 출력 특성으로 인해 결국 파싱 가능하지 않은 JSON을 받게 된다. 이는 후행 쉼표, 불일치하는 타입, 마크다운 래핑 등 다양한 형태로 나타나며, 에이전트 파이프라인의 가장 큰 런타임 실패 원인이 된다.

Technical Solution

• LLM 출력을 직접 JSON으로 받지 않고 평문 텍스트로 받아 추출 계층에서 처리: 프롬프트는 형식을 강제하지 않고 데이터 생성에만 집중
• Pydantic BaseModel을 스키마로 정의: ArticleMetadata와 같은 타입 안전한 구조 정의로 검증 계약 수립
• extract_with_fallback() 함수로 3단계 파싱 시도: json.loads() 직접 파싱 → 마크다운 코드 블록 제거 후 재파싱 → ValidationError 발생 시 명확한 컨텍스트 메시지 반환
• 추출 계층에서 엣지 케이스 처리: 후행 쉼표, 따옴표 스타일, 마크다운 래핑 등 모든 형식 이상을 정규화
• 관심사 분리: LLM은 이해와 생성에, 추출 계층은 정확성과 검증에만 집중하는 이중 구조 도입

Key Takeaway

AI 에이전트의 신뢰성은 프롬프트 엔지니어링만으로는 해결 불가능하며, 코드 계층에서 명시적인 스키마 검증과 폴백 메커니즘을 구현해야 한다. 각 계층이 하나의 책임만 가질 때 확률적 출력을 결정론적 파이프라인으로 변환할 수 있다.