LLM Batch Processing을 통한 월 $1 미만의 고효율 AI Feed 큐레이션 시스템 구현

Context

수천 개의 소스에서 수동으로 RSS를 구독하거나 북마크해야 하는 기존 콘텐츠 수집의 번거로움 해결 필요. LLM을 활용한 실시간 분류 시 발생하는 높은 API 비용과 처리 지연을 최적화해야 하는 과제 직면.

Technical Solution

• RSS 및 Brave Search API를 결합한 다각적 콘텐츠 Sourcing 파이프라인 구축
• 정기적 Cron Job을 통한 배치 처리 방식으로 API 호출 횟수 최소화
• 신규 기사와 모든 피드 프롬프트를 하나의 배치로 묶어 LLM에 전달하는 Batch Classification 구조 설계
• LLM이 부여한 Quality Score(1-10) 중 6점 이상의 데이터만 필터링하여 데이터 정밀도 확보
• Next.js 16 및 React 19 기반의 최신 프론트엔드 스택과 Supabase를 통한 서버리스 인프라 구성
• Railway 호스팅과 Resend 메일 서비스를 연동한 경량화된 운영 환경 구축