TBs급 데이터 대상 Schema-less 필터링으로 쿼리 응답 시간 초 단위 단축

Context

기존 대시보드 도구의 고정된 Index 및 Schema 기반 쿼리 구조로 인한 분석 유연성 부족. 개별 위젯의 수동 업데이트 방식이 대규모 데이터셋 환경에서 심각한 운영 오버헤드와 지연 시간을 유발함.

Technical Solution

• Log-Based Metrics(LBMs)를 통한 밀리초 단위의 고속 트렌드 분석 기반 마련
• Raw Log Query를 직접 실행하는 Log-Based Filtering 아키텍처 도입으로 사전 정의 없는 유연한 탐색 구현
• 단일 쿼리 바의 필터 변경 사항을 대시보드 내 모든 위젯에 동시 적용하는 Global Filtering 메커니즘 설계
• 별도의 Index 정의나 Field Extraction 없이 모든 Key-Value 쌍을 즉시 검색 가능한 Schema-less 구조 채택
• 정적 메트릭과 동적 로우 로그 쿼리를 상호 보완적으로 사용하는 하이브리드 데이터 처리 전략 적용