Operator Fusion 기반 Thor 엔진으로 5천만 건 데이터 2초 내 처리

Context

다양한 데이터 소스를 통합 처리하기 위한 일관된 인터페이스 부족으로 인한 개발 생산성 저하 발생. 대규모 데이터셋 로드 시 메모리 과부하 및 빈번한 DB 커넥션 생성으로 인한 성능 병목 지점 노출.

Technical Solution

• C# LINQ 및 Java Streams에서 영감을 얻은 Go 언어 기반 내부 DSL 설계
• Operator Fusion 패턴을 적용하여 Query Chain을 단일 실행 단위로 처리하는 Thor 엔진 구현
• 메모리 효율화를 위해 데이터 소스별 전용 Adapter를 통한 Stream API 기반의 반복 처리 구조 채택
• RDBMS의 Cursor 방식과 유사하게 단일 커넥션으로 Row를 순차 처리하여 Database Round-trip 제거
• Slice, Channel, SQL Rows, JSON, CSV를 아우르는 Polymorphic Query Language 인터페이스 제공

Impact

• Thor 엔진을 통한 50,000,000개 아이템 필터링 작업을 2초 이내에 완료