DB 부하 80~90% 절감 및 응답 속도 최적화를 위한 계층별 Caching 전략

Context

전체 지연 시간의 60%가 데이터베이스 쿼리에서 발생하며, 25%는 외부 API 호출의 네트워크 레이턴시로 인해 발생함. 특히 N+1 쿼리 문제와 빈번한 데이터 재요청이 시스템 병목의 핵심 원인으로 분석됨.

Technical Solution

• IMemoryCache를 통한 서버 프로세스 내 RAM 저장소 활용으로 네트워크 홉이 없는 초고속 데이터 룩업 구조 설계
• IDistributedCache 기반의 Redis 통합으로 분산 서버 환경에서 데이터 일관성을 유지하는 공유 캐시 계층 구축
• Output Caching 미들웨어를 적용하여 컨트롤러 진입 전 HTTP 응답 전체를 반환하는 Short-circuit 경로 생성
• Response Caching의 Cache-Control 헤더 설정을 통해 클라이언트 및 Proxy 단계에서 트래픽을 분산하는 오프로딩 전략 채택
• Absolute 및 Sliding Expiration 정책을 병행 적용하여 RAM 낭비를 방지하고 GC 압력을 제어하는 메모리 관리 체계 수립
• GetOrCreateAsync 및 SemaphoreSlim을 활용한 Cache Stampede 현상 방지 로직 구현

Impact

• DB 부하 80~90% 감소 및 Netflix 기준 앱 시작 시간 70% 단축
• 응답 시간 100ms 증가 시 전환율 7% 감소 및 3초 초과 시 사용자 40% 이탈 방지
• 목표 지표: 평균 응답 시간 200ms 이하, CPU 점유율 70% 미만, 메모리 80% 미만 유지

Key Takeaway

캐싱은 단순한 데이터 저장소가 아닌Borrowed RAM의 개념으로 접근해야 하며, 데이터의 변경 주기와 서버 확장 규모에 따라 In-Memory, Distributed, Output Caching의 적절한 계층 선택이 아키텍처의 핵심임.