피드로 돌아가기
Dev.toAI/ML
원문 읽기
Gemini 2.0 Flash 단일 추론 기반의 Dual-Layer 성격 구현 및 Serverless 배포
I Built an AI That Roasts You (But Actually Cares)
AI 요약
Context
사용자의 감정 상태에 따라 유머와 공감을 동시에 제공하는 보이스봇 구현 필요. 기존 방식의 감정 분석 모델과 응답 생성 모델을 분리한 파이프라인은 지연 시간 증가와 아키텍처 복잡도를 초래함.
Technical Solution
- Gemini 2.0 Flash의 System Prompt 설계를 통한 Roast 및 Empathy 레이어의 단일 추론 통합
- 별도의 Sentiment Classifier 없이 프롬프트 엔지니어링만으로 감정 감지 및 응답 톤 조절 수행
- Web Speech API 및 SpeechSynthesis API 활용으로 외부 STT/TTS 의존성을 제거한 클라이언트 사이드 처리
- Flask 기반 Proxy 서버 구축을 통한 API Key 은닉 및 보안성 확보
- Docker 및 Google Cloud Run 기반의 Containerized 배포로 서버리스 인프라 환경 구축
- Google AI Studio를 활용한 반복적인 프롬프트 튜닝으로 모델 응답 정밀도 최적화
실천 포인트
1. LLM 도입 시 감정 분석 등 단순 분류 작업은 별도 모델 대신 System Prompt 내 조건부 로직으로 통합 가능한지 검토
2. 브라우저 네이티브 API(Web Speech) 활용을 통한 인프라 비용 절감 및 Latency 최적화 고려
3. API Key 보안을 위해 프론트엔드 직접 호출 대신 Lightweight Backend Proxy 계층 설계 적용