SSE와 Gemini AI 기반의 자동화된 Job Search 파이프라인 구축

I automated my entire job search with AI — here's the full stack I built

Sanambir Singh2026년 4월 23일7분intermediate

AI 요약

Context

수동 구직 과정의 낮은 효율성과 반복적인 서류 수정 작업이라는 병목 지점 발생. 분산된 채용 플랫폼의 데이터를 통합하고 AI를 통해 개인 맞춤형 매칭 점수를 산출하는 자동화 시스템 필요성 대두.

jobspy 라이브러리를 통한 멀티 플랫폼 데이터 스크레이핑 및 linkedin_fetch_description 옵션 활성화로 AI 분석을 위한 Full-text JD 확보
Gemini AI API 기반의 Structured JSON 프롬프팅을 통한 정량적 매칭 점수(0-100%) 및 결여 기술(Missing Skills) 추출 로직 설계
API Rate Limit 대응을 위한 Exponential Backoff Retry 래퍼 구현으로 배치 처리의 안정성 확보
HTTP Long Polling의 UX 한계를 해결하기 위해 Server-Sent Events(SSE)를 도입하여 분석 결과를 실시간 스트리밍하는 비동기 구조 채택
Cloudflare CDN의 기본 캐싱 정책으로 인한 데이터 유출 방지를 위해 Cache-Control 및 Vary 헤더를 명시적으로 설정한 보안 강화
FastAPI Middleware 수준의 Tier-based Rate Limit 로직을 구현하여 AI API 비용 최적화 및 프리미엄 모델 기반 마련

실천 포인트

1. CDN 도입 시 인증 기반 API 응답에 대해 'no-store, no-cache, private' 헤더 설정 여부 확인

2. AI API 사용 시 ResourceExhausted 예외 처리를 위한 Exponential Backoff 로직 구현

3. 장시간 소요되는 AI 배치 작업의 경우 SSE(Server-Sent Events)를 통한 실시간 피드백 제공 검토

4. 초기 단계부터 Concurrent Write 및 JSON 쿼리 대응이 가능한 PostgreSQL 도입 고려

태그