피드로 돌아가기
InfoQInfrastructure
원문 읽기
GA 대체 자체 트래킹 시스템 구축을 통한 비용 25% 절감 및 데이터 정밀도 향상
Presentation: Challenging Google Analytics: Building a Scalable, Cost-Effective User Tracking Service
AI 요약
Context
Google Analytics(UA)의 데이터 업데이트 지연으로 인한 Real-time 분석 불가 및 Event 정의 개수 제한이라는 기술적 병목 발생. GDPR 준수를 위한 데이터 거버넌스 확보 및 GA4 마이그레이션 비용의 효율적 활용을 위해 자체 Tracking Service 구축 결정.
Technical Solution
- Mobile 및 Frontend TypeScript SDK를 통한 데이터 수집 및 API 전송 구조 설계
- Pub/Sub 기반의 Streaming Architecture를 도입하여 Real-time Consumer와 BigQuery Storage로 분기 처리
- 데이터 손실 방지를 위해 API-Processor 간 동기(Synchronous) 통신을 채택하여 Pod 장애 시 Client-side Resend 유도
- 데이터 품질 확보를 위한 전용 Data Validation Service를 파이프라인에 추가하여 정제된 데이터 확보
- 단순 API와 Processor 위주의 MVP 구조에서 점진적으로 Curation Job과 검증 로직을 확장하는 단계적 아키텍처 적용
- 내부 인프라 기반의 데이터 저장 체계를 통해 Third-party 의존성을 제거한 GDPR 준수 구조 설계
실천 포인트
- 외부 솔루션의 Event 정의 한계나 데이터 지연이 비즈니스 병목인지 정밀하게 분석 - 분산 환경에서 데이터 유실 방지를 위해 동기 처리와 Client Retry 메커니즘의 Trade-off 검토 - 초기에는 단순한 API-Processor 구조의 MVP로 시작하여 점진적으로 Validation 및 Curation 레이어 확장 - 법적 규제(GDPR 등) 대응을 위해 데이터 저장소의 물리적 위치와 제어권 확보 여부 확인