WebAssembly 기반 DuckDB 도입으로 로컬 파일 대상 Serverless SQL 환경 구현

Context

대용량 파일 분석을 위해 Excel, Python, Cloud DB로 데이터를 매번 Import 해야 하는 프로세스상의 마찰 발생. 데이터 외부 유출 위험과 인프라 구축 비용이 탐색적 분석의 병목 지점으로 작용함.

Technical Solution

• WebAssembly(Wasm)를 통한 DuckDB 엔진의 브라우저 내 Direct Porting 설계
• Client-side 전용 실행 환경 구축으로 데이터 서버 전송 단계 제거 및 Privacy 보장
• CSV, Parquet, JSONL 등 다양한 정형/반정형 파일 포맷에 대한 Native Parsing 지원
• In-memory 분석 엔진 활용을 통한 다중 파일 Join 및 Window Function 등의 Full SQL 연산 처리
• 설치 과정이 없는 Zero Installation 구조를 통한 분석 진입 장벽 최소화

Impact

• 100MB 이상의 대용량 파일에서도 Very Fast 수준의 쿼리 성능 확보
• 수백 MB 규모의 데이터셋에 대해 지연 없는 분석 환경 제공

Key Takeaway

Wasm을 활용해 무거운 분석 엔진을 클라이언트로 전이함으로써 Server-side 비용을 제거하고 보안성과 사용자 경험을 동시에 개선한 Edge Computing 사례.