오버엔지니어링을 걷어낸 실용적 데이터 파이프라인 설계

Context

전문 매치 데이터 탐색을 위한 정밀한 필터링 도구 부재. 효율적인 데이터 수집과 빠른 검색 성능을 제공하는 분석 플랫폼 필요.

Technical Solution

• OpenDota API에서 데이터를 수집하여 PostgreSQL RDS에 저장하는 실시간 ETL 파이프라인 구축
• 이름 검색 성능 향상을 위해 PostgreSQL의 pg_trgm 확장 모듈을 활용한 유사도 검색 적용
• 복잡한 SQS 기반 분산 구조 대신 단일 Lambda 모놀리스 아키텍처를 채택하여 배포 단순화 및 Warm Start 효율 극대화
• go-chi 라이브러리를 통한 API 라우팅 통합으로 코드베이스 관리 단일화
• S3와 CloudFront를 조합한 정적 웹 호스팅 및 GitHub Actions OIDC 인증 기반의 자동화된 CI/CD 파이프라인 구현

Key Takeaway

독립적인 배포 팀이나 특정 경로의 높은 동시성 요구사항이 없다면, 복잡한 마이크로서비스보다 단순한 모놀리스 구조가 유지보수와 성능 면에서 유리함.