API 비용 제거 및 테스트 속도 극대화를 위한 Programmable Mocking Layer 설계

Context

LLM API 의존적인 아키텍처에서 발생하는 높은 Latency와 API Rate Limit으로 인한 개발 속도 저하 문제 분석. CI/CD 파이프라인 내 비결정적 응답과 예측 불가능한 비용 발생에 따른 테스트 자동화 한계 직면.

Technical Solution

• API Endpoint를 가로채어 설정된 모드에 따라 응답을 분기하는 Central Mock Router 설계
• Unit Test용 Static Response와 Integration Test용 Context-aware Dynamic Response 핸들러 분리 구현
• Server-Sent Events(SSE) 규격을 모사한 Token-by-token 스트리밍 로직으로 UI 렌더링 상태 검증 환경 구축
• 특정 입력 패턴에 따른 사전 정의된 응답을 반환하는 Scenario Registry 패턴 도입을 통한 엣지 케이스 시뮬레이션
• Environment Variable을 활용한 Base URL 동적 전환 구조로 코드 수정 없는 Local/Test/Prod 환경 스위칭 구현
• Error Simulation 핸들러 배치를 통해 Rate Limit 및 Context Overflow 등 API 장애 상황의 예외 처리 로직 검증