1만 건 이상의 비정형 데이터 정규화를 통한 임대료 공정성 분석 엔진 구축

Context

공공 데이터의 심각한 지연 시간과 파편화된 임대 정보로 인한 시장 불투명성 존재. 90개 이상의 서로 다른 소스에서 수집되는 비정형 데이터의 일관성 결여로 인해 정밀한 가격 비교 모델 구축에 한계가 있었음.

Technical Solution

• 데이터 일관성 확보를 위해 주 단위/월 단위 가격 및 공과금 포함 여부를 월간 EUR로 변환하는 Ingestion Pipeline 설계
• Box Room 등 비표준 방 구조를 별도 필드로 분리하여 벤치마크 왜곡을 방지하는 Functional Bedroom 정규화 로직 적용
• 지명/우편번호의 불일치 해결을 위해 Geocoding API 기반 좌표 추출 후 Neighborhood Polygon 매핑을 통한 2단계 Location Resolution 구현
• 데이터 희소성 문제를 해결하고자 표본 수가 8~10건 미만일 때 인접 지역까지 범위를 확장하는 Dynamic Sample Expansion 전략 채택
• API 응답 속도 최적화를 위해 Price Distribution 계산을 Query-time이 아닌 Daily Schedule 기반의 Pre-computation 방식으로 처리
• Geocoding API의 고비용 및 지연 시간(200-400ms) 해결을 위한 Aggressive Caching 계층 도입