피드로 돌아가기
Dev.toAI/ML
원문 읽기
Claude Haiku 3 은퇴에 따른 API Breaking Change 및 4배 비용 증가 대응
claude-3-haiku-20240307 just started returning errors — here's what happened
AI 요약
Context
Anthropic의 모델 Retirement 정책으로 인해 claude-3-haiku-20240307 모델 ID가 즉시 삭제됨. 단순 Deprecation이 아닌 Resource 삭제 방식으로 인한 4XX 에러 발생 및 서비스 중단 상황 분석.
Technical Solution
- claude-haiku-4-5-20251001 모델로의 ID 교체 및 Migration 수행
- Temperature와 top_p 동시 설정 시 발생하는 API 거부 문제를 해결하기 위한 파라미터 최적화
- 신규 모델의 stop_reason 추가 정의에 따른 Response Parsing 로직의 Match/Switch 문 예외 처리
- Tool Parameters의 Trailing Newline 보존 변경 사항에 따른 문자열 정규화 로직 적용
- 모델별 독립적 Rate Limit 적용으로 인한 신규 Quota 할당 및 모니터링 설정 변경
- GET /v1/models 엔드포인트를 통한 가용 모델 리스트의 지속적 폴링 및 Baseline 비교 검증 구조 설계
실천 포인트
- git grep을 통한 전사 레포지토리 내 구형 모델 ID 전수 조사 - temperature와 top_p 중 하나만 설정하도록 API 호출부 수정 - 모델 교체 후 Mock 테스트가 아닌 실제 Integration Test 수행 - 신규 모델 도입에 따른 비용 재추산 및 예산 포캐스팅 수행 - 외부 API 모델 가용성 확인을 위한 Canary 모니터링 도입 검토