Fedora 43에서 Ollama와 NVIDIA GPU 가속을 사용해 로컬 AI 코딩 어시스턴트를 구축하는 8단계 절차

Context

Fedora 43은 자유 오픈소스 소프트웨어 정책을 유지하여 기본 저장소에 NVIDIA proprietary 드라이버가 포함되어 있지 않다. 로컬 LLM 실행 시 GPU 가속 없이는 처리 속도와 응답성에 한계가 발생한다. 사용자는 매월 구독료 없이 개인화된 AI 어시스턴트를 운용하고자 한다.

Technical Solution

• Fedora 저장소에 RPM Fusion free 및 non-free 저장소를 추가하여 proprietary 패키지 접근 허용
• dnf5 패키지 매니저로 akmod-nvidia와 xorg-x11-drv-nvidia-cuda 설치하여 CUDA toolkit 활용
• NVIDIA 드라이버 적용을 위한 시스템 재부팅 및 nvidia-smi 명령어로 GPU 인식 확인
• curl 스크립트로 Ollama 바이너리 설치 및 systemd 서비스 자동 시작 설정
• journalctl로 Ollama의 GPU 감지 로그 확인하여 CPU 폴백 여부 검증
• ollama run qwen2.5-coder:0.5b 명령어로 경량 모델 다운로드 및 터미널 채팅 테스트
• VS Code Continue 익스텐션 설치 후 config.yaml에서 apiBase를 http://localhost:11434로 로컬 Ollama 연결

Impact

GPU 가속 사용 시 LLM 응답 속도가 CPU 전용 대비 대폭 향상되며 완전한 프라이버시 보장

Key Takeaway

커널 업데이트 후 NVIDIA 모듈 재빌드가 필요한 경우 자동 컴파일이 완료될 때까지 대기해야 한다.