Node.js Worker Threads로 CPU bound 작업 성능 2배 향상

Context

단일 스레드 기반 Node.js 환경에서 CPU 집중 작업 시 Event Loop 차단 현상 발생. Concurrency와 Parallelism의 개념 혼동으로 인한 비효율적 자원 활용 문제 존재.

Technical Solution

• Promise.all 기반의 Concurrency 구현 시 단일 스레드 내 컨텍스트 스위칭만 발생하여 CPU bound 작업 성능 개선 한계 확인
• Node.js Worker Threads 모듈을 활용해 OS 수준의 물리적 멀티 코어 자원을 할당하는 Parallelism 구조 설계
• 메인 스레드와 워커 스레드 간 message passing 방식을 통한 작업 분산 및 결과 수집 체계 구축
• 데이터 일관성 확보를 위해 전체 시스템의 동기화 대신 사용자 세션 중심의 Client-Specific Consistency 전략 채택
• 글로벌 동기화 비용을 줄이기 위해 읽기 중심 시스템에서 Eventual Consistency 모델을 적용한 네트워크 부하 감소

Impact

• Sequential 처리 시간: 3.250s
• Concurrent 처리 시간: 3.191s
• Parallel 처리 시간: 1.661s

Key Takeaway

작업의 성격이 I/O bound인지 CPU bound인지에 따라 Concurrency와 Parallelism 중 적합한 전략을 선택해야 함. 분산 시스템의 강한 일관성 유지 비용과 성능 간의 Trade-off를 고려한 정교한 설계 필요.