NASA 및 World Bank API 기반 Blue Carbon Risk 분석 파이프라인 구축

How I built a free carbon credit risk model using NASA satellite data, dbt, and Streamlit

likithasree Yarabarla2026년 5월 20일1분intermediate

AI 요약

Context

Verra registry 내 Blue Carbon 프로젝트의 영속성 리스크를 정량화하기 위한 데이터 파이프라인 부재. 분산된 외부 API 데이터와 서로 다른 식별자 체계로 인한 데이터 통합의 어려움 발생.

NASA FIRMS API의 MAP_KEY 인증 방식을 적용한 실시간 화재 알림 데이터 수집 구조 설계
World Bank API의 엔드포인트 변경 사항을 반영한 9년치 산림 파괴 데이터 적재 로직 구현
DuckDB와 dbt를 조합하여 로컬 환경 내 고속 데이터 모델링 및 테스트 자동화 체계 구축
Numeric 형식의 Verra ID와 String 형식의 Berkeley ID 간 정합성을 위한 String Parsing 기반의 ID 매핑 처리
GitHub Actions를 통한 CI 파이프라인 구축으로 데이터 모델의 지속적 통합 및 배포 자동화
Streamlit을 활용해 복잡한 리스크 스코어링 결과물을 시각화한 실시간 대시보드 구현

실천 포인트

1. 서로 다른 데이터 소스의 식별자 형식이 다를 경우 String Parsing을 통한 정규화 단계 설계

2. 외부 API 사용 시 Bearer Token 외에 MAP_KEY 등 특수 인증 방식의 존재 여부 사전 확인

3. dbt와 DuckDB 조합을 통한 가벼운 데이터 파이프라인 프로토타이핑 검토

4. API 엔드포인트 변경에 대응하기 위한 버전 관리 및 유연한 매핑 구조 설계

태그