피드로 돌아가기
Dev.toAI/ML
원문 읽기
Groq LLM과 Persistent Memory 기반의 고속 AI 회의 메모리 에이전트 구현
AI Meeting Memory Assistant
AI 요약
Context
회의 기록의 분산과 문맥 소실로 인한 반복적 질문 및 태스크 누락 발생. 단순 Chatbot의 휘발성 메모리 한계를 극복하기 위한 지속 가능한 컨텍스트 유지 구조 필요.
Technical Solution
- Local JSON 파일을 활용한 Persistent Memory 계층 설계로 데이터 영속성 확보
- 입력값의 성격(Note/Question)을 판별하는 분기 로직을 통한 데이터 저장 및 조회 흐름 제어
- Groq API 기반의 Ultra-fast Inference 모델 채택을 통한 실시간 응답 지연 시간 최소화
- User Query와 관련된 과거 메모리를 추출하여 LLM Prompt에 주입하는 Retrieval 메커니즘 적용
- Streamlit 기반의 Lightweight UI 구성을 통한 메모리 시각화 및 인터랙션 구현
실천 포인트
1. LLM 응답 속도 최적화를 위한 Groq와 같은 고성능 Inference 엔진 검토
2. 소규모 데이터셋의 빠른 프로토타이핑을 위한 JSON 기반 Persistent Storage 활용
3. 단순 질의응답을 넘어선 Context-aware 시스템 구축을 위한 Retrieval 로직 설계