피드로 돌아가기
Dev.toAI/ML
원문 읽기
Stateless Loop 탈피를 위한 Event-based Memory 구조 설계
Clinic-CoPilot
AI 요약
Context
단순 Context Window 확장에 의존한 Stateless 구조로 인한 과거 진료 이력 누락 발생. 토큰 제한 문제가 아닌 Memory Model 부재로 인한 환자별 장기 기억 유지 불능 상태 분석.
Technical Solution
- Raw Text 저장 방식에서 Structured Event 저장 방식으로 전환하여 데이터 검색 정밀도 향상
- Hindsight 기반의 Threaded Memory 구조를 도입하여 환자별 네임스페이스 격리 및 Cross-contamination 방지
- Pydantic Schema와 Groq LLM을 결합한 Extraction Agent 설계로 비정형 노트의 정형 메모리화 구현
- Semantic Recall과 Query-driven Retrieval 방식을 통한 필요한 시점의 최적 컨텍스트 추출 로직 적용
- Global Memory Thread 구축을 통한 개별 환자 데이터를 초월한 전역적 임상 패턴 식별 구조 설계
- Memory Inspector 인터페이스 제공을 통한 저장 데이터의 가시성 확보 및 Traceability 강화
실천 포인트
- LLM의 Context Window 확장이 기억력 부족의 근본 해결책이 될 수 없음을 인지 - 비정형 데이터를 저장할 때 단순 Embedding보다 Event 기반의 정형 구조(Schema) 우선 고려 - 멀티 테넌시 환경에서 데이터 격리를 위해 Thread ID 기반의 Namespace 설계 적용 - Extraction 단계의 품질 향상을 위해 Strict Schema 정의 및 Normalization 포스트 프로세싱 단계 추가