35개 도메인 MoE-LoRA 구조를 통한 임베디드 특화 LLM 파이프라인 공개

Open-sourcing a full fine-tuning pipeline for embedded engineering — training toolkit + 35-domain MoE-LoRA model

Clément SAILLANT2026년 4월 18일4분advanced

AI 요약

Context

범용 LLM의 좁은 기술 도메인 내 Hallucination 발생으로 인한 임베디드 설계 및 디버깅 신뢰성 저하 문제 발생. 단일 모델 Fine-tuning 시 발생하는 도메인 간 패턴 희석 및 Catastrophic Forgetting 현상을 해결해야 하는 제약 상황 직면.

Technical Solution

Qwen3.5-35B-A3B MoE 모델 기반의 Routed Architecture 설계를 통한 도메인별 지식 분리 저장
35개 도메인별 전용 LoRA Stack을 구축하고 Classifier를 통해 요청당 최상위 4개 스택을 선택하는 라우팅 메커니즘 적용
Stack 간 Null-space Projection을 도입하여 다중 도메인 결합 시 발생하는 지식 간섭 및 망각 현상 최소화
도메인 간 충돌하는 출력값을 중재하는 Negotiator(CAMP + Catfish) 계층 설계를 통한 상황별 우선순위 결정
실제 엔지니어의 Claude CLI 세션 5만 건을 포함한 48.9만 개의 고밀도 Instruction 데이터셋을 통한 특화 학습
Apple Silicon의 Unified Memory를 활용한 MLX 기반 Fine-tuning 툴킷 구축으로 학습 효율 최적화

실천 포인트

- 전문 도메인 LLM 구축 시 단일 모델 학습 전 도메인 간 패턴 충돌 가능성 검토 - 데이터셋 구성 시 정제된 오픈소스 데이터 외에 실제 전문가의 작업 로그(CLI session) 포함 여부 확인 - 다중 어댑터 사용 시 출력값 간의 우선순위를 결정할 중재 로직(Negotiator) 설계 고려 - 추론 환경의 하드웨어 제약(VRAM 등)에 따른 양자화 전략 및 GGUF 포맷 검토

태그

#Distillation #Fine-Tuning #MoE-LoRA #Embedded Systems #Routed Architecture

원문 읽기