Node.js 이벤트 루프 블로킹 해결, 큐 기반 AI 에이전트 확장 전략

Context

단순 API 래퍼 구조로 인한 LLM 응답 대기 시간 발생. 사용자 증가 시 Node.js 이벤트 루프 블로킹 및 Latency 급증. 상태 관리 부재로 인한 컨텍스트 유실 및 요청 타임아웃 발생.

Technical Solution

• Fastify 기반 API Gateway와 BullMQ를 활용한 요청-응답 사이클 분리 구조
• 무거운 AI 연산을 메인 프로세스에서 제거하여 Worker 서비스로 위임하는 비동기 처리 방식
• Redis 기반 큐를 통한 작업 적체 관리 및 지수 백오프(Exponential Backoff) 전략의 재시도 메커니즘 적용
• PostgreSQL을 활용한 장기 상태 저장과 Redis를 이용한 빠른 컨텍스트 조회 체계 구축
• WebSockets 및 Firebase Cloud Messaging(FCM)을 통한 작업 완료 알림 및 실시간 응답 전달 설계
• 작업 복잡도에 따른 LLM 모델 차등 적용(GPT-4o 및 gpt-3.5-turbo)으로 비용 및 속도 최적화

Key Takeaway

상태 유지와 장시간 실행이 필요한 AI 에이전트 설계 시 API 계층과 연산 계층을 완전히 분리하는 비동기 아키텍처가 필수적임.