DaemonSet 기반 Agent 구조를 통한 EKS 로그 파이프라인 최적화

Context

분산된 Kubernetes Pod 환경에서 개별 애플리케이션이 직접 외부 모니터링 시스템과 통신할 때 발생하는 리소스 오버헤드 및 관리 복잡성 해결 필요. 표준 출력(stdout/stderr) 기반의 로그 생성 방식과 중앙 집중형 수집 구조 간의 연결 고리 설계가 핵심 과제임.

Technical Solution

• Application의 로그 생성 부담을 최소화하기 위해 stdout/stderr 표준 출력 방식 채택
• Container Runtime(containerd)을 통한 로그의 노드 파일 시스템(/var/log/containers/) 물리적 저장 구조 활용
• DaemonSet 기반 Datadog Agent 배포로 모든 Worker Node에 수집기를 상주시켜 로컬 파일 시스템 직접 모니터링 수행
• 단순 텍스트 로그에 Kubernetes Metadata(Pod, Namespace, Service 등)를 결합하는 Enrichment 프로세스 구현
• hostPath 마운트를 통해 컨테이너 격리를 우회하고 /proc, /sys/fs/cgroup 등 호스트 자원에 접근하여 고밀도 메트릭 수집
• 수집된 데이터를 HTTPS 프로토콜을 통해 Datadog Cloud로 보안 전송하는 비동기 파이프라인 구축