Loki 아키텍처 재설계 통한 중복 쓰기 제거 및 Petabyte 규모 저장 효율 최적화

Context

객체 스토리지 기반의 기존 Loki 로그 집계 구조로 인한 데이터 중복 저장 발생. Petabyte 단위의 대규모 운영 환경에서 스토리지 비용 및 리소스 낭비가 병목 지점으로 작용.

Technical Solution

• Kafka 기반 Ingestion 레이어 도입을 통한 데이터 유입 흐름 제어 및 안정성 확보
• Query Engine 및 Scheduler 재설계를 통한 쿼리 처리 효율 최적화
• 중복 쓰기(Redundant Writes) 제거 로직 적용으로 스토리지 점유율 최소화
• Observability as Code 구현을 위한 Git Sync 기능을 통한 GitOps 워크플로우 통합
• 온프레미스 데이터 보안 유지를 위한 LLM 연결 전용 Cloud Account 하이브리드 구조 설계
• AI Observability 도입을 통한 Token 사용량 및 비용의 실시간 가시성 확보

Impact

• 기존 아키텍처 대비 동일 로그의 최대 2.3배 중복 저장 문제 해결