Quack: DuckDB 클라이언트-서버 프로토콜

Context

DuckDB의 인프로세스 아키텍처는 낮은 API 호출 지연 시간을 제공하나, 여러 프로세스 간 상태 동기화와 동시 작성 제약이라는 한계 존재. 기존의 Arrow Flight SQL이나 PostgreSQL 우회 방식은 잦은 프로토콜 왕복과 직렬화 오버헤드로 인해 대량 데이터 전송 효율이 저하됨.

Technical Solution

• HTTP 기반 요청-응답 모델 채택을 통한 로드밸런싱 및 방화벽 호환성 확보와 DuckDB-Wasm의 네이티브 연결 지원
• WAL 파일에서 검증된 내부 직렬화 프리미티브를 활용한 application/duckdb MIME 타입 정의로 데이터 타입 전송 최적화
• 쿼리 실행과 결과 fetch를 단일 왕복(Single Round-trip)으로 처리하는 설계를 통한 네트워크 지연 시간 최소화
• 외부 표준(Arrow) 제약을 탈피한 자체 직렬화 구조 설계를 통해 신규 데이터 타입 및 프로토콜 메시지의 즉각적 배포 가능성 확보
• 사용자 정의 콜백 함수를 통한 인증 및 권한 부여 모델 구축으로 LDAP 등 외부 인증 시스템과의 유연한 연동 지원

Impact

• 대량 전송: 6천만 행(76GB CSV 상당) 데이터 전송 시 4.94초 기록 (Arrow Flight 17.40s, PostgreSQL 158.37s 대비 압도적 성능)
• 처리량: 8스레드 기준 초당 약 5,434 tx/s의 append 성능 달성
• 지연 시간: 동일 가용 영역 내 평균 ping 0.280ms 환경에서 최적화된 전송 효율 확인

Key Takeaway

범용 데이터 도구로 확장하기 위해서는 표준 인터페이스의 편의성보다 내부 데이터 구조에 최적화된 전용 프로토콜 설계가 성능 극대화의 핵심임.