월 1,300유로 클라우드 비용을 35유로로 절감한 로컬 AI 인프라 설계

Context

다수의 유료 AI 구독 서비스 이용으로 인한 비용 증가 발생. 민감한 비즈니스 데이터의 외부 유출 위험 존재. 클라우드 제공사의 API 정책 변화 및 서비스 종료에 따른 의존성 리스크 상존.

Technical Solution

• Tailscale Mesh VPN 기반의 3대 머신(Docker Host, Inference Server, Edge VPS) 분산 아키텍처 설계
• Apple M4 기반 Mac mini와 Ollama를 활용한 완전 로컬 LLM 추론 환경 구축
• Nginx Proxy Manager와 Uptime Kuma를 외부 VPS에 배치하여 내부 네트워크 가용성 감시 체계 마련
• n8n, PostgreSQL, Elasticsearch를 Docker 컨테이너로 구축하여 데이터 주권 확보 및 인프라 제어권 강화
• Node.js 힙 메모리 제한 설정을 통해 대량의 JSON 데이터 처리 시 발생하는 메모리 스파이크 방지
• Local-first 전략을 통한 외부 API 의존성 제거 및 공급자 교체 시 영향도 최소화 구조 설계

Impact

• 인프라 비용: 월 최대 €1,300(Cloud)에서 €35(Local)로 절감
• 전력 소비: 전체 시스템 평균 100W 수준 유지
• 자원 할당: 32GB RAM 중 OS(4GB), Elasticsearch(4GB), n8n(4-6GB) 등으로 세분화하여 운영
• 데이터 처리: 15,000건의 이메일을 로컬 LLM으로 처리

Key Takeaway

개인 사업 규모의 워크로드에서는 관리형 서비스의 편의성보다 데이터 주권과 비용 효율성이 더 큰 가치를 가질 수 있음. 인프라의 완전한 제어권은 외부 API 변경 및 정책 변화에 유연하게 대응할 수 있는 아키텍처적 회복탄력성을 제공함.