피드로 돌아가기
Dev.toAI/ML
원문 읽기
Groq LLM과 JSON 기반 Persistent Memory를 결합한 지능형 회의 기억 에이전트 구현
AI Meeting Memory Assistant
AI 요약
Context
회의록 분산 저장으로 인한 정보 파편화 및 반복적 질의 발생 문제 해결 필요. 단순 챗봇의 휘발성 메모리 한계를 극복하여 지속 가능한 컨텍스트 유지가 핵심 과제임.
Technical Solution
- Local JSON 파일을 활용한 Persistent Memory 계층 설계로 데이터 영속성 확보
- 사용자 입력의 의도 분석을 통한 Note 저장과 Question 답변 경로의 로직 분리
- Question 발생 시 저장된 Memory에서 관련 컨텍스트를 추출하는 Retrieval 프로세스 적용
- Groq API 기반의 고속 LLM 추론을 통해 Retrieval된 데이터를 바탕으로 Contextual Answer 생성
- Streamlit 프레임워크를 통한 인터랙티브 UI 구현 및 사용자 입력 인터페이스 단일화
실천 포인트
- 데이터 규모가 작을 경우 복잡한 Vector DB 대신 JSON 기반의 단순 저장소로 빠른 PoC 구현 검토 - LLM의 추론 속도 최적화를 위해 Groq와 같은 고성능 추론 엔진 도입 고려 - 입력 데이터의 성격(저장 vs 조회)을 먼저 판별하는 Intent Classification 로직 우선 설계