Content Quality Ladder 기반의 고가용성 AI ETL 파이프라인 구축

How I built a three-tier content quality ladder for programmatic directory ETL

MORINAGA2026년 6월 9일10분intermediate

AI 요약

Context

프로그래밍 방식의 디렉토리 사이트 운영 중 LLM API의 불안정성과 비용 효율성 확보 필요성 대두. 단순한 API 호출 구조로는 API 장애 시 콘텐츠 공백이 발생하며, 대량 생성 시 입력 토큰 비용 증가라는 한계 존재.

model_used 컬럼을 통한 3단계 Quality Ladder(seeded-from-json $\rightarrow$ fallback-template $\rightarrow$ claude-haiku-4-5) 설계로 콘텐츠 가용성 보장
SELECT 쿼리에 LEFT JOIN과 OR 조건을 결합하여 신규 항목 및 저품질 콘텐츠만 선별하는 효율적인 Upgrade Query 구현
m.downloads DESC 기준의 우선순위 정렬을 통해 트래픽 상위 항목부터 우선적으로 고품질 콘텐츠로 전환하는 전략 채택
Anthropic Prompt Caching(ephemeral) 적용으로 배치 처리 시 중복 시스템 프롬프트 입력 비용 최적화
정규표현식 기반의 JSON 파싱 및 Null-safe 필드 접근 구조를 통해 LLM의 비정형 응답으로 인한 파이프라인 중단 방지
Node.js ETL 스크립트와 Vercel Edge 간 클라이언트 호환성을 위해 Turso(libsql) 데이터베이스 도입

LLM 기반 데이터 생성 파이프라인 설계 시, API 실패를 전제로 한 계층적 Fallback 구조와 데이터 중요도 기반의 점진적 고도화 전략이 시스템 안정성과 비용 효율성을 동시에 확보하는 핵심임.

실천 포인트

1. LLM 생성 데이터의 품질 상태를 추적하는 상태 컬럼(Quality Tier)을 설계했는가

2. API 장애 시 서비스 중단 없이 제공 가능한 최소 수준의 Fallback 템플릿이 존재하는가

3. 비즈니스 지표(예: 조회수) 기반의 데이터 업그레이드 우선순위 큐를 적용했는가

4. 반복적인 시스템 프롬프트 사용 시 Prompt Caching을 통해 토큰 비용을 최적화했는가

태그