Hybrid Model 전략을 통한 운영 비용 $0 기반의 Multi-modal AI 플랫폼 구축

Context

기존 AI 도구의 높은 API 비용과 단일 기능 중심의 폐쇄적 구조로 인한 확장성 한계 직면. 텍스트, 이미지, 비디오 분석을 통합하면서도 운영 비용을 최소화하는 오픈소스 아키텍처 필요성 증대.

Technical Solution

• 작업 특성에 따른 Hybrid Model 전략을 채택하여 텍스트는 OpenRouter의 무료 120B 모델로, 비전 작업은 Gemini 2.0 Flash로 분리 처리하는 구조 설계
• Firebase Secret Manager를 통한 API Key의 서버 사이드 격리로 클라이언트 노출을 원천 차단한 Security Layer 구축
• SSE(Server-Sent Events) 기반의 Token Streaming 방식을 도입하여 LLM 응답 대기 시간을 제거한 실시간 UX 구현
• Firestore 기반의 Per-User Memory System을 설계하여 세션 간 컨텍스트 유지를 위한 시스템 프롬프트 동적 주입 로직 구현
• Firebase Cloud Functions를 Proxy Layer로 활용하여 프런트엔드와 AI 엔진 간의 결합도를 낮춘 서버리스 아키텍처 채택

Impact

• 텍스트 및 코드 생성 비용 $0 달성
• 이미지 분석 건당 ~$0.002, 비디오 분석 건당 ~$0.003의 초저가 비용 구조 확립
• 월 총 운영 비용 $0~$5 수준의 극단적 비용 최적화 성공

Key Takeaway

모든 태스크에 고성능 유료 모델을 사용하는 대신, 도메인별 성능 임계치를 분석하여 무료 모델과 저비용 고효율 모델을 조합하는 Hybrid Strategy가 비용 효율적인 AI 시스템 설계의 핵심임.