Closed-source AI 탈피를 통한 비용 절감 및 Open-source LLM 기반 유연한 추론 아키텍처 구축

Context

Notion AI와 같은 Closed-source Wrapper 기반 서비스의 불투명한 비용 구조와 Vendor Lock-in 문제 발생. 가중치 확인이나 추론 로직 수정이 불가능한 폐쇄적 생태계로 인해 시스템 가용성 확보 및 비용 최적화에 한계 직면.

Technical Solution

• Global API를 활용한 Unified Endpoint 구축으로 184종의 모델 선택권 확보
• Task 특성에 따른 LLM 라우팅 전략 수립으로 비용 및 성능 최적화
• DeepSeek-V4-Flash를 활용한 고빈도/저지연 태스크 처리 및 128K Context Window 확보
• DeepSeek-V4-Pro의 200K Context Window를 통한 대규모 코드베이스 및 법률 문서 추론 처리
• Qwen3-32B를 통한 분류 및 구조화 데이터 생성 작업의 효율성 극대화
• OpenAI-compatible API 표준 채택을 통한 런타임 시 모델 교체 가능 구조 설계

Impact

• Notion AI 대비 40%~65% 수준의 비용 절감 효과 달성
• 평균 Latency 1.2s 및 Throughput 320 tokens/s의 고성능 추론 환경 구축
• 벤치마크 점수 84.6% 수준의 정밀도 유지
• GPT-4o 대비 GLM-4 Plus 사용 시 10배 이상의 비용 효율성 확보

Key Takeaway

LLM 생태계의 성숙으로 인해 Closed-source Wrapper의 가치가 하락함에 따라, 추상화된 Unified API를 통한 Open-source 모델의 전략적 배치가 비용과 제어권 측면에서 압도적 우위를 점함.