피드로 돌아가기
Dev.toInfrastructure
원문 읽기
LOD 전략과 Int8 양자화로 1.5조 픽셀 전지구 유사도 분석 구현
A search engine for places that look alike
AI 요약
Context
전 지구 10m 해상도의 위성 데이터(1.5조 픽셀)에 대해 실시간 Dot Product 연산을 수행하는 것은 컴퓨팅 비용과 시간 측면에서 불가능함. 고해상도 전체 데이터를 매 요청마다 처리하거나 모든 경우의 수를 Precompute 하는 방식의 한계로 인해 효율적인 렌더링 아키텍처가 필요했음.
Technical Solution
- AlphaEarth Foundation 모델의 64차원 Embedding을 활용한 환경 시그니처 기반 유사도 측정
- 글로벌 뷰 제공을 위해 해상도를 2km로 낮춘 Grid를 RAM에 상주시켜 전 지구 스캔 속도 최적화
- 64차원 벡터를 Int8로 Quantization 하여 전체 그리드 크기를 2.6GB로 압축해 일반 클라우드 인스턴스에 적재
- 사용자의 Zoom Level에 따라 10m 고해상도 데이터를 동적으로 계산하는 Level of Detail(LOD) 패턴 적용
- Cloud Optimized GeoTIFF(COG)의 Range Request를 통해 필요한 뷰포트 영역의 바이트만 선택적으로 로드
- Immutable한 데이터 특성을 활용해 계산된 10m 타일을 Disk Cache에 저장함으로써 반복 요청의 응답 시간을 밀리초 단위로 단축
실천 포인트
- 대규모 벡터 연산 시 정밀도 손실을 감수하고 Int8 양자화를 통한 메모리 최적화 검토 - 전체 데이터를 처리하는 대신 저해상도/고해상도 계층 구조(Pyramid) 설계 적용 - 외부 SDK 제약이 있는 경우 Python Sidecar 구조를 통한 폴리글랏 아키텍처 구성 - COG와 같은 효율적인 바이너리 포맷을 사용하여 네트워크 전송량 최적화