피드로 돌아가기
Dev.toAI/ML
원문 읽기
AWS Cloud9 기반 LLaMA 3.2 Self-Hosted AI Task Manager 구현
I Built an AI Task Manager on AWS Cloud9 with OpenClaw and LLaMA 3.2 — Fully Self-Hosted
AI 요약
Context
단순 저장 방식의 기존 Task Manager가 가진 낮은 지능적 처리 능력의 한계점을 분석. 외부 API 의존 없는 완전한 Local AI 환경을 통한 데이터 프라이버시 확보와 자동 요약 기능을 목표로 설계.
Technical Solution
- LLaMA 3.2와 Ollama를 결합한 Local AI Brain 구축을 통한 Self-Hosted 추론 환경 구현
- Flask 기반의 Lightweight Backend Agent를 설계하여 CLI 인터페이스와 AI 모델 간의 통신 중계
- LLaMA 3.2 1B 모델의 낮은 정확도를 해결하기 위해 3B 모델로 교체하여 요약 정밀도 향상
- AWS Cloud9 및 EC2 환경에서 CPU-only 모드로 동작하는 추론 파이프라인 구성
- JSON 기반 Local Storage를 통한 단순하고 빠른 데이터 지속성 확보
- Flask Route 확장을 통한 새로운 AI Skill의 유연한 추가가 가능한 Composable 아키텍처 설계
실천 포인트
1. Local LLM 도입 시 모델 사이즈(1B vs 3B)에 따른 정확도 트레이드오프 검증
2. EBS 볼륨 확장 및 xfs_growfs를 통한 AI 모델 저장 공간 사전 확보
3. Cloud9 환경 내 좀비 프로세스로 인한 포트 충돌 방지를 위해 fuser 명령어를 통한 포트 정리 습관화
4. AI 에이전트 설계 시 기능 확장을 고려한 Flask Route 기반의 모듈화 구조 적용