DeepSeek 도입으로 세션 비용 90% 절감 및 서비스 지속성 확보

Context

무료 AI 대화 연습 앱의 지속 가능성을 위해 세션당 비용 최적화가 필수적인 상황. 고비용의 GPT-4 모델 사용 시 사용자당 누적 비용 증가로 인한 서비스 유지 불가 가능성 식별.

Technical Solution

• 운영 비용 절감을 위해 GPT-4o에서 DeepSeek-V3 및 R1으로 LLM 교체
• 모델 성능 편차 극복을 위해 Numbered Rules 기반의 정교한 System Prompt 설계
• DeepSeek의 특성인 답변 장황함을 제어하기 위해 Mode Wrapper 내 Max Reply Length 설정
• 생성 일관성 확보를 위해 Roleplay용 0.55 및 Scoring용 0.2의 Low Temperature 전략 적용
• LLM 응답 실패 시 세션 유지 및 사용자 재시도를 보장하는 Retry Flow 구축
• 95%의 고품질 1회 세션보다 85~90% 품질의 10회 세션을 지향하는 가용성 중심 설계