Sequential Loop를 Parallel Pool로 전환하여 LLM 처리 시간 95% 단축

Context

LLM 호출 시 독립적인 작업들을 순차적 Loop로 처리함에 따라 발생하는 Scheduling Bottleneck 분석. 전체 실행 시간이 개별 호출 시간의 합(N * Latency)에 비례하여 선형적으로 증가하는 아키텍처적 한계 직면.

Technical Solution

• Skill 및 Chain 인터페이스를 래핑하는 Parallel Map 구조의 Pool 클래스 설계
• max_flows 파라미터를 통한 Concurrency 제어로 API Rate Limit 및 429 Error 방지
• Input Order 보존 설계를 통해 결과값의 인덱스 매핑 비용 제거
• 개별 Task 단위의 격리된 Error Handling으로 특정 항목 실패가 전체 배치에 영향을 주지 않는 Fault Tolerance 구현
• Chain 객체 수용 설계를 통해 'Fetch-Convert-Summarize'와 같은 Multi-step Pipeline의 병렬 확장성 확보
• 내부 Scheduling 로직 추상화를 통해 async/await Boilerplate 없이 동기식 인터페이스로 병렬 실행 지원