피드로 돌아가기
Dev.toInfrastructure
원문 읽기
Quickwit 기반 Object Storage 분리 구조의 로그 검색 플랫폼 Rootprint 구축
I built a self-hosted log search tool for my team
AI 요약
Context
Quickwit 도입을 통해 Compute와 Storage를 분리하여 인덱스 유지 비용을 최적화함. 다만 Search Engine 기능에 집중된 구조로 인해 UI, Authentication, Access Control 등 엔드유저를 위한 운영 계층의 부재가 병목으로 작용함.
Technical Solution
- S3 Compatible Object Storage를 활용하여 대규모 로그 데이터의 저장 비용 최적화 및 Compute 자원 독립적 확장 구조 설계
- Bun 환경 기반의 Hono Backend를 채택하여 런타임 오버헤드 최소화 및 빠른 API 응답 속도 확보
- Svelte 5와 SvelteKit 기반의 Frontend를 통한 고성능 UI 렌더링 및 실시간 로그 필터링 환경 구현
- Google 및 GitHub OAuth 연동을 통한 사용자 인증 체계 및 데이터 Ingest 엔드포인트 권한 제어 로직 구축
- Quickwit 0.9+ 버전과의 환경 변수 기반 연결을 통한 검색 엔진 계층의 추상화 및 유연한 인프라 배치 가능 구조 설계
실천 포인트
1. 대규모 로그 저장 시 S3와 같은 Object Storage를 활용해 Compute와 Storage를 분리하여 비용 효율성을 검토할 것
2. Core Search Engine의 기능 부족 시 직접적인 수정보다 별도의 Control Plane 계층을 구축하여 기능적 제약을 해결할 것
3. 경량 런타임인 Bun과 Hono 조합을 통해 API 서버의 Cold Start 및 메모리 사용량을 최적화할 것