AWS Cloud9 기반 LLaMA 3.2 자가 호스팅을 통한 Private AI 에이전트 구현

Context

기존 클라우드 AI 서비스의 데이터 프라이버시 침해 및 서브스크립션 비용 발생 문제 해결 필요. 외부 서버 의존성을 제거하고 사용자 제어권이 보장되는 Local AI 환경 구축을 목표로 함.

Technical Solution

• AWS Cloud9의 EC2 인스턴스를 활용한 Linux 기반 독립 런타임 환경 확보
• LLaMA 3.2 (3B) 모델 채택으로 CPU 환경 내 추론 속도와 응답 품질 간의 Trade-off 최적화
• Ollama 엔진을 통한 LLM Lifecycle 관리 및 REST API 기반의 추론 인터페이스 구축
• Flask 프레임워크를 활용하여 LLM 프롬프트를 서비스 기능으로 추상화한 Endpoint 중심의 Composable Architecture 설계
• EBS 볼륨 30GB 확장 및 파일시스템 리사이징을 통한 대형 모델 저장 공간 제약 해결
• Subprocess 모듈을 이용한 Ollama CLI 호출로 Python 애플리케이션과 LLM 엔진 간의 느슨한 결합 구현