ARM 4Core/24GB RAM 기반 고효율 Self-Hosted 인프라 최적화

Context

Oracle Cloud Free Tier의 ARM 리소스를 단순 웹 서버로 낭비하는 비효율적 활용 패턴 분석. 특히 공유 CI Runner의 캐시 소멸로 인한 빌드 속도 저하와 고가의 Observability 툴 비용 발생이 주요 병목 지점으로 파악됨.

Technical Solution

• 24GB RAM의 가용성을 활용해 Quantization 손실 없는 Mistral 7B 모델을 Ollama로 구동하는 Local LLM 환경 구축
• Earthly의 로컬 캐시 레이어를 Self-Hosted Runner에 결합하여 Docker Layer Caching의 영속성 확보
• Grafana, Prometheus, Loki 스택의 통합 배포를 통한 저비용 고효율 Observability 파이프라인 설계
• Wasmtime 기반의 WASM Sandbox 도입으로 컨테이너 오버헤드 없는 격리된 실행 환경 및 보안 샌드박스 구현
• LiteLLM Proxy를 통한 Local LLM과 External API의 Unified Endpoint 구성 및 비용 기반 Fallback Routing 전략 적용

Impact

• CI 빌드 시간: 8분에서 90초로 약 81% 단축
• LLM 추론: 24GB RAM 기반 7B 모델의 원본 성능 유지 및 유휴 상태 CPU 점유율 2~3% 달성
• 인프라 비용: Datadog 등 유료 모니터링 도구 대체로 월 $30 비용 절감

Key Takeaway

하드웨어 제약 사항(ARM Architecture)과 리소스 특성(High RAM)을 정확히 매핑한 워크로드 배치로 인프라 효율을 극대화하는 전략적 설계의 중요성.