LLM을 분석기가 아닌 Narrator로 정의한 관측 가능성 보고서 최적화

Context

Prometheus와 Loki 기반의 self-hosted observability 스택에서 정기 리포트를 생성하는 구조임. 단순 데이터 나열만으로는 고객에게 실질적인 인사이트를 제공하기 어려워 LLM 도입을 통한 컨텍스트 제공이 필요했음.

Technical Solution

• Raw Time Series 데이터를 LLM에 직접 입력 시 발생하는 통계적 추론 오류 및 Hallucination 방지를 위해 Preprocessing 단계 도입
• Prometheus와 Loki 쿼리를 통해 평균 CPU 사용률, Peak 시점, 디스크 성장률 등 핵심 지표를 JSON 형태로 선-집계
• LLM의 역할을 '데이터 분석(Analysis)'에서 '구조화된 결과의 서술(Narration)'로 제한하여 정밀도 향상
• Multi-tenant 데이터 격리를 위해 클라이언트별로 구조화된 Summary만 프롬프트에 주입하는 isolation 전략 채택
• LLM 추론 장애가 전체 리포트 생성 프로세스에 영향을 주지 않도록 하는 Graceful Degradation 설계 적용
• Static Report를 우선 발송하고 AI Narrative를 보완적으로 추가하는 Enrichment Layer 구조 구현