피드로 돌아가기
Dev.toBackend
원문 읽기
18,000개 탄소 배출 계수 정규화를 통한 통합 탄소 배출 API 구축
I parsed 18,000 emission factors from DEFRA, EPA, and ADEME into one free API
AI 요약
Context
DEFRA, EPA, ADEME 등 기관별로 상이한 데이터 포맷과 단위 체계로 인해 탄소 배출량 계산의 파편화 발생. 스프레드시트, CSV 등 비정형 데이터의 정합성 부족과 GWP 버전 불일치로 인한 계산 오류 위험 상존.
Technical Solution
- 데이터 소스별 단위 불일치(kg, g, lb 등) 해결을 위한 정규화 파이프라인 설계
- IPCC 보고서 버전별(AR4, AR5, AR6) GWP를 상수가 아닌 데이터 객체로 관리하여 연도별 가변성 대응
- Scope 2의 Location-based 및 Market-based 듀얼 리포팅 체계 구현을 통한 규제 준수 설계
- Scope 3 T&D Loss 누락 방지를 위한 상호 참조 기반 자동 제안(Auto-suggest) 로직 도입
- ADEME 데이터의 Windows-1252 인코딩 및 콤마 구분자 처리 등 전처리 레이어 구축
- JSON Blob 저장 방식에서 최소 스키마 및 인덱스 필드 적용 방식으로 전환하여 쿼리 효율성 개선
실천 포인트
1. 외부 데이터 임포트 시 지역별 숫자 구분자(Comma vs Dot) 및 인코딩 설정 확인
2. 시간에 따라 변하는 기준값(GWP 등)은 하드코딩을 피하고 버전 관리 테이블로 설계
3. 데이터 분석 성능 향상을 위해 비정형 JSON 저장 시 필수 쿼리 필드에 대한 인덱싱 스키마 정의