Gemma 3-12B LoRA 튜닝을 통한 ADHD 맞춤형 Dopamine Sparking 인터페이스 구현

NeuroBait: I fine-tuned a model to spark dopamine for ADHD brain

2026년 6월 9일4분intermediate

AI 요약

Context

기존 ADHD 지원 AI 도구들이 단순 체크리스트나 이론적 진단 등 구조적 정보 제공에 치중하여 실행 기능 장애(Executive Dysfunction)를 겪는 사용자의 Task-initiation Paralysis를 가중시키는 한계 노출.

google/gemma-3-12b-it 베이스 모델에 16-bit LoRA를 적용하여 구조적 답변 형식을 제거한 Warm Prose 스타일의 Voice 학습
Unsloth 라이브러리를 활용해 r=16, alpha=16 설정 및 3 Epoch 학습으로 데이터 퀄리티 중심의 미세 조정 수행
Modal.com H100 80GB GPU 환경에서 합성 데이터를 통한 ADHD 특화 friction 데이터셋 구축 및 학습
4-bit bitsandbytes NF4 양자화 모델에 LoRA Adapter를 런타임에 적용하는 HF Space ZeroGPU 배포 구조 설계
Bullet wall 형태의 출력을 배제하고 3~6문장의 짧은 흐름으로 단일 실행 동작(Tiny Action)을 제시하는 추론 로직 구현

실천 포인트

1. 모델 크기보다 데이터셋의 질적 특성이 특화된 Voice 구축에 더 결정적인 영향을 미치는지 검토

2. 구조적 텍스트(Bullet points)가 오히려 사용자 인지 부하를 높이는 도메인인지 분석 후 Prose 스타일 튜닝 고려

3. Unsloth/TRL 사용 시 checkpoint pickle 버그 방지를 위해 save_strategy="no" 설정 적용 여부 확인

4. NF4 양자화 베이스 모델과 LoRA Adapter를 결합한 런타임 효율적 배포 전략 검토

태그