Redis 버퍼 기반 비동기 처리를 통한 0ms 요청 블로킹의 Self-hosted 모니터링 설계

Context

SaaS 기반 에러 트래킹 도구의 과도한 시트당 비용 발생 및 PII 데이터 외부 유출 위험 존재. 외부 네트워크 의존도로 인한 텔레메트리 유실 가능성과 복잡한 SDK 설정 과정의 비효율성 확인.

Technical Solution

• Request-Response 사이클의 지연을 방지하기 위한 Thread.new 기반의 Fire-and-forget 구조 채택
• 전용 Redis Connection Pool을 활용한 LPUSH 방식으로 캡처 오버헤드를 1~2ms 수준으로 최소화
• Redis 장애 시 애플리케이션 가용성 확보를 위해 5회 연속 실패 시 30초간 작동을 중단하는 Circuit Breaker 도입
• DB 부하 분산을 위해 백그라운드 스레드가 30초 간격으로 100개 배치 단위의 데이터를 DB에 Flush 하는 구조 설계
• ActiveRecord 어댑터 런타임 감지를 통한 PostgreSQL, MySQL, SQLite 간 JSON 컬럼 및 SQL 함수 추상화 계층 구현
• 알림 설정을 코드 기반이 아닌 DB 기반 런타임 설정으로 분리하여 재배포 없는 Webhook 관리 체계 구축