피드로 돌아가기
GeekNewsFrontend
원문 읽기
Show GN: 전국 학교 공시 데이터 검색·비교 서비스
데이터 무결성 확보를 위한 row_hash 기반 동기화 및 다중 조건 매핑 설계
AI 요약
Context
파편화된 학교 공시 데이터의 통합 검색 및 비교를 위한 시스템 구축 필요성 제기. 단순한 UI 구현보다 데이터 간의 오매핑 방지와 원본 데이터의 신뢰성 확보가 핵심 과제로 작용.
Technical Solution
- row_hash 기반의 변경분 감지 로직을 통한 효율적인 데이터 동기화 구현
- 학교명 중복 및 변경 사례 해결을 위해 학교 코드, 교육청, 지역, 학교급을 조합한 다중 조건 매핑 전략 채택
- 정적 search-index.json 및 JSON 파일을 활용한 빠른 검색 성능과 페이지 로딩 속도 최적화
- XLS 파일의 가변적인 표 구조 대응을 위해 헤더 기반 형식 구분 및 범위 외 값 제거 필터링 도입
- 원본 수치와 자체 계산 지표를 분리 표시하여 데이터 투명성 확보
실천 포인트
1. 외부 데이터 통합 시 단일 식별자 대신 복합 키(Composite Key)를 통한 매핑 검증 수행 여부 확인
2. 정형 데이터가 아닌 XLS 형태의 데이터 수집 시 열 번호 고정이 아닌 헤더 텍스트 기반의 동적 매핑 로직 적용
3. 데이터 변경분 추적을 위해 전체 업데이트 대신 row_hash 비교 방식 검토