pgvector와 Sidekiq 기반의 고밀도 AI Rails 아키텍처 설계

Context

단순 AI API 호출을 넘어 사용자 권한, 캐싱, 비동기 처리 등 실제 서비스 운영을 위한 통합 아키텍처 필요성 대두. 모델 호출의 높은 지연 시간과 provider 종속성으로 인한 시스템 불안정성 해결이 핵심 과제.

Technical Solution

• pgvector와 neighbor gem을 통한 PostgreSQL 기반 통합 벡터 저장소 구축으로 데이터 일관성 확보
• Service Object 패턴을 적용한 모델 API 추상화로 provider 교체 유연성 및 테스트 가능성 증대
• Active Job 및 Sidekiq를 통한 embedding 및 요약 작업의 비동기 처리로 HTTP 요청 사이클의 응답 속도 개선
• Redis 기반 캐싱 레이어 도입으로 중복 AI 요청에 따른 비용 절감 및 응답 시간 단축
• Puma(Web)와 Sidekiq(Worker) 프로세스 분리 설계를 통한 리소스 경합 방지 및 확장성 확보
• RAG(Retrieval-Augmented Generation) 패턴을 구현하여 벡터 검색 결과와 LLM 프롬프트를 결합한 정밀 답변 생성