DDR5 대역폭 한계치(85GB/s)를 달성한 Zero-dependency C# 벡터 DB 설계

Context

기존 벡터 데이터베이스의 과도한 의존성과 Docker 기반 배포 방식이 유발하는 리소스 낭비를 해결하고자 함. .NET 환경에서 GC 오버헤드와 메모리 파편화로 인한 성능 저하를 극복하는 고효율 벡터 엔진 설계가 필요함.

Technical Solution

• GC Pause 제거를 위해 float[][] 구조를 배제하고 Flat Array 및 Memory-Mapped File 기반의 Zero-copy 메모리 모델 도입
• Hot Path 내 객체 할당 및 Bounds Checking을 완전히 제거한 Fixed Pointer 및 ReadOnlySpan 기반 메모리 직접 접근
• System.Runtime.Intrinsics를 활용하여 Vector256 기반의 하드웨어 가속 커널 구현
• CPU의 Out-of-order execution 파이프라인 효율을 극대화하기 위한 4-way Loop Unrolling 및 FMA(Fused-Multiply-Add) 명령 적용
• 네트워크 레이턴시 제거를 위해 REST/gRPC 대신 stdio 기반의 Model Context Protocol(MCP) 서버를 네이티브로 통합

Impact

• 10만 개 벡터(1,536차원) 검색 시 7.152ms의 처리 속도 기록
• 초당 약 13,982,298회 연산 수행 및 DDR5 RAM의 물리적 한계치인 85GB/s 대역폭 점유
• 외부 의존성 제거를 통한 라이브러리 경량화 및 배포 복잡도 최소화

Key Takeaway

고성능 수치 연산 시스템 설계 시 추상화 계층을 최소화하고 하드웨어 아키텍처(SIMD, Memory Bandwidth)에 최적화된 메모리 레이아웃을 구성하는 것이 성능의 결정적 요소임.