Node.js가 I/O 바운드 작업과 연산 바운드 작업의 분리 아키텍처로 동영상 인코딩 서버의 확장성 문제를 해결

Context

Node.js로 동영상 인코딩을 수행하는 웹 서버를 구축할 때, JavaScript 런타임에서 연산 바운드 작업을 직접 처리하면 메인 이벤트 루프가 블로킹되어 확장성이 저하된다는 우려가 존재했다.

Technical Solution

• I/O 바운드 작업과 연산 바운드 작업 분리: 파일 업로드/다운로드 처리는 Node.js에서 담당하고, 동영상 인코딩은 ffmpeg 서브프로세스로 분기
• Node.js의 비동기 서브프로세스 제어 활용: 외부 프로세스의 연산 작업을 비동기로 관리하여 메인 스레드 블로킹 방지
• 다중 코어 활용을 위한 프로세스 로드 밸런싱: 수 줄의 코드로 여러 Node.js 프로세스 간 연결 로드 밸런싱 구현
• 클러스터 관리 자동화: 향후 릴리스에서 --balance 플래그를 커맨드라인에 전달하면 Node.js가 프로세스 클러스터를 자동 관리

Key Takeaway

Node.js는 네트워크 프로그램의 확장성을 위해 설계되었으며, 커널의 스케줄링과 프리엠션에 의존하여 연산 작업을 오프로드하는 투명한 아키텍처를 통해 모든 문제를 해결하는 범용 도구보다는 DNS 서버, DHCP 서버, 동영상 인코딩 서버와 같은 I/O 중심 애플리케이션에 최적화되어 있다.