Claude 성능 저하 분석: 다중 제약 조건 및 Long Context 일관성 22% 하락

Context

LLM 모델 업데이트에 따른 품질 저하 의구심을 해결하기 위해 실제 워크플로우 기반의 정량적 벤치마크 수행. 단순 체감이 아닌 TypeScript 리팩토링, SQL 마이그레이션 등 실무 시나리오를 통한 회귀 테스트 체계 구축.

Technical Solution

• 23개 고정 테스트 케이스를 통한 주 단위 수동 스코어링(1-5점) 체계 운용
• 코드 추론, 신규 생성, 버그 탐지 3개 카테고리로 구분하여 성능 저하 지점 분리 분석
• 5개 이상의 동시 제약 조건(Constraints) 부여 시 모델의 지시 사항 무시 패턴 식별
• 15,000 tokens 이상의 Long Context 환경에서 초기 결정 사항을 망각하는 일관성 결여 현상 추적
• 특정 임계치(평균 3.3점 미만 유지 및 일관성 오류 월 40건 초과) 기반의 도구 전환 의사결정 메커니즘 설계

Impact

• 전체 평균 스코어: 4.2(3월) $\rightarrow$ 3.5(6월)로 하락
• Long Context 일관성: 4.0(3월) $\rightarrow$ 3.1(7월)로 약 22.5% 성능 저하
• 버그 탐지 성능: 11/13(3월) $\rightarrow$ 12/13(7월)로 소폭 개선

Key Takeaway

모델의 전반적인 성능 하락보다는 특정 엣지 케이스(다중 제약, 컨텍스트 유지)에서의 회귀 현상이 발생함. LLM 도입 시 추상적인 만족도가 아닌, 비즈니스 핵심 로직을 반영한 전용 Regression Suite 구축을 통한 정량적 관리가 필수적임.