Object Storage 기반 Stateless 설계로 저장 비용 절감 및 95% 심볼 최적화 달성

Grafana's Pyroscope 2.0 Makes Continuous Profiling Practical at Scale

Matt Saunders2026년 5월 13일5분advanced

AI 요약

Context

Cortex 기반의 기존 v1 아키텍처에서 발생한 Write-path Replication으로 인한 과도한 스토리지 비용과 Stateful 구성 요소에 따른 확장성 제약 발생. 특히 대용량 Payload와 bursty한 쿼리 패턴을 처리하기 위한 구조적 한계 노출.

Technical Solution

Write-path Replication 제거를 통한 Object Storage 단일 저장 구조로의 전환 및 데이터 중복 쓰기 비용 제거
동일 서비스 프로파일의 Co-location 저장을 통한 함수명 및 스택 트레이스 등 Symbolic 정보의 중복 제거(Deduplication)
Read path의 Stateless 전환으로 쿼리어(Querier)의 탄력적 확장 및 Peak load 대응 구조 설계
Diskless Segment Writer 도입 및 Store-gateway 제거를 통한 운영 복잡도 최소화
OTLP(OpenTelemetry Protocol) 네이티브 지원을 통한 표준 텔레메트리 파이프라인 통합
정제된 데이터 모델 설계를 통한 Fleet-wide metrics 추출 및 Heatmap 쿼리 기능 구현

실천 포인트

- 대규모 시계열/프로파일링 데이터 저장 시 Write-path Replication 여부와 Object Storage 활용 가능성 검토 - 상태 저장(Stateful) 구성 요소의 제거를 통해 배포 속도와 탄력적 확장성(Elastic Scaling) 확보 가능성 분석 - 유사 데이터 간의 공통 정보(Symbolic information) 추출을 통한 데이터 중복 제거 전략 수립

태그

#Object Storage #OTLP #Continuous Profiling #Stateless Architecture #Observability

원문 읽기