Non-invasive MEG 신호 기반 Word Accuracy 61% 달성한 실시간 문장 디코딩 파이프라인

Context

기존의 Brain-to-Text 시스템은 높은 정확도를 위해 외과적 수술을 통한 Invasive procedure 방식에 의존함. Non-invasive 방식은 신호 노이즈가 심해 기존 기술로는 Word Accuracy 8% 수준의 낮은 성능에 머무는 한계가 존재함.

Technical Solution

• Raw brain signal에서 직접 텍스트를 추출하는 End-to-End Deep Learning 구조 설계
• Hand-crafted pipeline을 제거하여 신경 이벤트 감지 단계의 정보 손실 최소화
• Neural data를 기반으로 LLM Fine-tuning을 수행하여 노이즈 섞인 신호에 Semantic context 주입
• AI Agent를 활용한 Pipeline 최적화 탐색 및 엔지니어의 수동 검증을 통한 최종 Training configuration 확정
• MEG 장치를 통해 수집한 9명 참여자의 22,000개 문장 데이터를 통한 모델 학습
• 데이터 볼륨과 디코딩 정확도의 Log-linear 상관관계를 이용한 성능 확장 가능성 확인

Impact

• Non-invasive 방식의 Word Accuracy를 기존 8%에서 61%로 대폭 향상
• 최상위 성능 참여자의 경우 Word Accuracy 78% 달성 및 문장당 오차 1단어 이하 기록

Key Takeaway

Raw 데이터의 노이즈가 극심한 도메인일수록 Feature Engineering 기반의 파이프라인보다 LLM의 Semantic prior를 결합한 End-to-End 학습 구조가 효과적임.