S3 기반 AWS Config 스냅샷을 DuckDB로 시각화한 장애 대응 CLI 'clew' 개발

What did our VPC look like at 22:14 (Tue, 2026-05-20) — building clew, a CLI for navigating AWS Config snapshots

nishikawaakira2026년 5월 21일8분intermediate

AI 요약

Context

장애 발생 시점의 VPC 토폴로지를 파악하기 위해 AWS Console의 현재 상태만으로는 한계가 존재함. AWS Config가 6시간 간격으로 S3에 JSON 스냅샷을 저장하나, 평면적인 데이터 구조와 복잡한 관계 정의로 인해 jq 기반의 수동 분석에 과도한 시간이 소요되는 문제 발생.

Technical Solution

임의의 과거 시점 스냅샷 파일을 로컬 DuckDB에 적재하여 쿼리 성능과 데이터 정합성 확보
config_items, graph_nodes, graph_edges 3단계 테이블 모델을 통한 리소스 간 의존성 정형화
relationships[] 필드와 설정 본문에서 엣지 데이터를 추출하여 리소스 간 연결성 복원
VPC $\rightarrow$ Subnet $\rightarrow$ EC2/ENI 순의 계층 구조를 반영한 Compound Node 기반 HTML 렌더링 설계
외부 SaaS 의존성을 제거한 Local-first 아키텍처로 보안 및 응답 속도 최적화
단일 self-contained HTML 파일 생성 기능을 통한 포스트모템 공유 효율성 증대

실천 포인트

- AWS Config 스냅샷의 S3 저장 경로와 명명 규칙을 확인하여 자동 수집 파이프라인 구축 검토 - 복잡한 JSON 관계 데이터를 분석할 때 In-memory DB(DuckDB 등)를 활용한 관계형 모델링 적용 - 장애 대응 도구 설계 시 외부 망 접속이 제한된 상황을 고려한 Local-first 및 Static Export 전략 채택

태그

#Go #Incident Response #Topology Visualization #AWS Config #DuckDB

원문 읽기