피드로 돌아가기
Dev.toInfrastructure
원문 읽기
LLM Hallucination 제거를 위한 Deterministic Rule-based 아키텍처 전환
Building an AI Cloud Cost Intelligence Platform That Doesn't Let AI Make Infrastructure Decisions
AI 요약
Context
LLM에 인프라 최적화 결정을 위임한 기존 구조에서 존재하지 않는 VM SKU 제안 및 잘못된 CLI 파라미터 생성하는 Hallucination 문제 발생. Prompt Engineering만으로는 해결 불가능한 인프라의 엄격한 정합성 요구사항으로 인한 설계 한계 직면.
Technical Solution
- 의사결정 로직과 설명 생성 로직을 분리한 Decoupled Architecture 설계
- Azure Scanner 및 Pricing API를 통한 실시간 데이터 기반의 Fact Gathering 체계 구축
- Python 기반의 Deterministic Rule Engine을 도입하여 검증된 SKU 및 최적화 대상 선정
- Command Builder를 통해 검증된 Azure CLI 명령어를 생성하여 실행 신뢰성 확보
- LLM의 역할을 '의사결정'에서 '결정된 사항에 대한 자연어 설명'으로 한정하여 데이터 무결성 유지
- FastAPI와 PostgreSQL 기반의 백엔드 구성으로 상태 관리 및 API 오케스트레이션 구현
실천 포인트
1. LLM이 인프라 변경과 같은 Critical Path의 의사결정을 직접 수행하는지 검토
2. 비즈니스 로직을 Deterministic Code로 분리하고 LLM은 Interface Layer로만 활용하는 구조 적용
3. 외부 API(Cloud SDK 등)를 통한 데이터 검증 단계를 LLM 입력 전 단계에 배치