메모리 스파이크 없는 대용량 데이터 처리, IAsyncEnumerable 전략

Context

대량의 레코드를 한꺼번에 로드하는 방식은 심각한 메모리 부하를 유발. 기존 IEnumerable 방식은 데이터 읽기 과정에서 스레드를 차단하는 한계 존재. 비동기 I/O와 스트리밍 처리를 동시에 만족하는 구조적 대안 필요.

Technical Solution

• C# 8 도입 IAsyncEnumerable를 통한 비동기 시퀀스 반복 구조 설계
• yield return 키워드를 활용하여 항목이 준비되는 즉시 소비자에게 전달하는 스트리밍 방식 채택
• await foreach 문을 사용하여 스레드 차단 없이 항목별 비동기 소비 프로세스 구현
• [EnumeratorCancellation] 및 WithCancellation(ct) 적용으로 장기 실행 스트림의 안전한 중단 메커니즘 확보
• ASP.NET Core 컨트롤러 액션에서 IAsyncEnumerable를 직접 반환하여 API 응답 최적화
• .NET 9부터 제공되는 IAsyncEnumerable 전용 LINQ 지원을 통한 비동기 데이터 필터링 및 가공 체계 구축

Key Takeaway

데이터 셋의 크기가 가변적이거나 I/O 바운드 작업이 수반되는 경우 전체 로드 방식보다 항목별 스트리밍 설계가 자원 효율성 면에서 압도적임.