Little's Law를 활용한 시스템 동시 처리량(L)의 정량적 산출

Context

시스템의 처리 용량(Capacity)을 직관적으로 파악하기 어려운 인프라 환경의 한계. Latency와 Throughput 사이의 상관관계를 정립하여 자원 할당의 근거를 마련해야 하는 상황.

Technical Solution

• L = λW 공식을 적용한 시스템 내 평균 아이템 수(L) 산출 구조
• Entry Rate(λ)와 평균 체류 시간(W)의 곱을 통한 동시 요청 수 예측
• API 요청 처리 모델에 대입하여 시스템의 실시간 부하 수준을 수치화
• 산출된 동시 처리량을 기반으로 Scaling 시점 및 Queue 도입 여부 결정
• Timeout 설정값 최적화를 위한 이론적 토대 마련

Impact

• 10 RPS(Request Per Second)와 2s Latency 조건에서 20개의 Simultaneous Requests 처리 가능함을 정량적으로 증명

Key Takeaway

시스템 성능 분석 시 개별 지표가 아닌 Rate와 Time의 곱을 통한 전체 Capacity 관점의 설계 접근 필요