Python ETL 파이프라인과 InfluxDB 시계열 데이터베이스를 활용하여 분산된 건강 앱 데이터를 단일 데이터 레이크로 통합하는 방법을 설명한다.

Context

Apple Watch, Strava, MyFitnessPal 등 건강 앱 데이터가 각 플랫폼에 고립되어 있어 상관관계 분석이 불가능한状况이다. 다량의 개인 건강 데이터가 XML, JSON, CSV 등 이기종 형식으로 분산 저장되어 있다.

Technical Solution

• Docker Compose로 InfluxDB 2.7과 Grafana 컨테이너를 통합 실행环境中 구축한다
• Python influxdb-client 라이브러리로 Strava JSON 데이터를 InfluxDB Point 객체로 변환하여 적재한다
• Apple Health XML, Strava JSON, MyFitnessPal 데이터를 정규화하여 unified time-series 형식으로 저장한다
• Grafana Flux 쿼리언어로 InfluxDB 데이터 원본 查询하여 시계열 대시보드를 구성한다

Impact

건강 지표 데이터를 단일 소스로 통합하여 앱 간 전환 없이 상관관계 분석 가능

Key Takeaway

시계열 특성을 가진 건강 데이터는 InfluxDB의 measurement-tag-field 구조로 정규화하면 이기종 소스를 unified하게 查询할 수 있다