Disk Full로 인한 Redis 장애 해결 및 Log Rotation 체계 구축

Context

Redis AOF 활성화 상태에서 루트 파티션 용량 부족으로 인한 Write Failure 발생. PM2 로그 및 빌드 캐시 누적으로 24GB 중 99% 점유율에 도달하며 서비스 전체 중단 상황 초래.

Technical Solution

• truncate -s 0 명령을 통한 File Handle 유지 기반의 로그 데이터 즉시 제거
• redis-check-aof --fix를 통한 디스크 풀 상태에서 손상된 AOF Manifest 파일 복구
• stop-writes-on-bgsave-error no 설정을 통한 Redis Read-Only 보호 모드 강제 해제
• pm2-logrotate 도입을 통한 개별 로그 파일 10MB 캡핑 및 자동 순환 구조 설계
• journalctl --vacuum-size=500M 적용으로 시스템 저널 로그의 최대 점유 공간 제한

Impact

• 로그 파일 3.8GB 및 캐시 1.5GB 제거를 통한 디스크 가용 공간 확보
• 시스템 저널 로그 최대 크기를 500MB로 제한하여 디스크 고갈 리스크 방지

Key Takeaway

인프라의 가용성은 고도화된 기능보다 Log Rotation 및 Disk Monitoring 같은 기본 운영 체계의 안정성에 의존함.