AMD MI300X 기반 QLoRA 및 Dual-Tier LLM으로 구현한 Privacy-Preserving 암 진단 지원 시스템

Context

기존 의료 AI의 Cloud API 의존성으로 인한 환자 데이터 유출 위험과 단일 LLM 구조의 Context Saturation 문제 발생. 특히 정교한 가이드라인 준수가 필수적인 종양학 분야에서 Hallucination으로 인한 치명적 오류 가능성이 한계점으로 작용.

Technical Solution

• 쿼리 복잡도에 따라 9B(Speed-optimised)와 27B(Deep-reasoning) 모델로 분기하는 Dual-Tier 라우팅 설계로 추론 효율 최적화
• LangGraph 기반의 8개 전문 노드로 추론 과정을 분해하여 각 단계의 감사 가능성(Auditability) 확보
• HyDE와 Cross-encoder Re-ranking을 결합한 4단계 Corrective RAG 파이프라인 구축을 통한 근거 기반 생성 보장
• Zero-PHI 정책 준수를 위한 3계층 Reflexion Safety Validator 도입으로 데이터 보안 및 출력 안전성 강화
• Unsloth 프레임워크와 AMD Instinct MI300X의 Sequence Packing을 활용한 온프레미스 Full-stack 파인튜닝 환경 구현

Impact

• Sequence Packing 적용을 통해 API 기반 생성 대비 56배의 Throughput 가속화 달성
• 266,854개의 데이터셋 파인튜닝을 단 50분 만에 완료
• Corrective RAG 기반 문서 등급 평가에서 100% 성공률 및 평균 신뢰도 점수 2.3+ 기록

Key Takeaway

도메인 특화 AI 설계 시 단일 거대 모델보다 Task 분해(Decomposition)와 단계적 검증(Reflexion)을 결합한 Multi-Agent 구조가 Hallucination 제어와 안전성 확보에 훨씬 유리함