피드로 돌아가기
Dev.toAI/ML
원문 읽기
MistakeEvent 기반 adaptive feedback loop 구축으로 학습 진단 정밀도 향상
Closing the feedback loop: how mistake classification drives adaptive problem selection in NumPath
AI 요약
Context
Bayesian Knowledge Tracing(BKT) 기반의 p_mastery 지표만으로 문제를 선정하던 기존 구조에서 MistakeClassifier가 생성한 상세 오류 코드를 활용하지 못하는 데이터 단절 발생. 단순 오답 처리로 인한 generic retry 반복으로 인해 학습자 특화 remediation 수행이 불가능한 한계 노출.
Technical Solution
- MistakeEvent 데이터를 GetNextProblemUseCase에 통합하여 오류 패턴에 따른 문제 선정 로직 구현
- MISTAKE_WINDOW(3개) 내 특정 오류 코드가 2회 이상 발생 시 해당 패턴을 지배적 신호로 인식하는 Threshold 기반 탐지 메커니즘 적용
- Mistake-to-KC Map을 통해 오류 코드(예: BORROW_SKIP)와 연관된 Knowledge Component(예: SUB_BORROW)를 매핑하여 Skill Override 수행
- 난이도를 DIFFICULTY_STEP(0.2)만큼 하향 조정하되 ENTRY_DIFFICULTY(0.3)를 하한선으로 설정하여 과도한 scaffolding 방지
- 모든 adaptive decision에 대해 triggering pattern과 p_mastery 수치를 포함한 reason 필드를 생성하여 교사용 설명 가능성(Explainability) 확보
실천 포인트
1. 진단 데이터(Diagnostic Signal)가 단순 로깅을 넘어 실제 시스템 제어 루프(Control Loop)에 반영되는지 검토
2. Adaptive 시스템 설계 시 결정 근거를 문자열 형태로 저장하는 'Reason Field'를 도입하여 디버깅 및 사용자 설명 가능성 확보
3. 시계열 쿼리가 빈번한 이벤트 테이블 설계 시 (student_id, created_at)과 같은 Composite Index 적용 여부 확인
4. 초기 단계에서는 복잡한 가중치 모델보다 Named Constant 기반의 Rule-set을 통해 가설을 빠르게 검증