Anthropic이 피크 타임(05:00-11:00 PT) 동안 Claude 토큰 소비 속도를 5배 상향 조정해 약 7%의 사용자가 세션 제한에 도달하도록 조정

Context

Claude 수요의 증가로 인해 피크 시간대 인프라 수용량 초과 문제가 발생했다. Anthropic은 구독 사용자들의 세션 제한 내에서 토큰 소비 속도를 동적으로 조정하여 용량 부족을 해결해야 했다.

Technical Solution

• 피크 타임(05:00-11:00 PT, 13:00-19:00 GMT) 동안 5시간 세션 한도를 시간당 1시간의 토큰 소비로 변환: 5시간을 1시간 이내에 소진 가능
• 비피크 타임 동안 동일한 5시간 세션 한도를 5시간 실제 사용으로 유지: 토큰 소비 속도를 1배로 설정
• 주간 누적 한도는 유지하되, 시간대별 분배 방식 변경: 피크 타임에 용량 제약 강화, 오프피크 타임에 용량 확대
• 토큰 소비와 세션 시간의 연계 메커니즘을 공개하지 않은 상태로 운영: 사용자가 정확한 토큰 소비율 예측 불가능

Impact

약 7%의 사용자(특히 Pro 이상 유료 구독자)가 기존보다 먼저 세션 제한에 도달할 예상됨.

Key Takeaway

토큰 소비를 시간대별로 차등 적용하면 인프라 용량 제약 하에서 주간 총 사용량을 유지하면서 피크 타임 수요를 제어할 수 있다. 다만 사용자에게 정확한 토큰 소비율을 공개하지 않으면 오프피크 시간대로의 워크로드 이전을 어렵게 한다.