피드로 돌아가기
Dev.toAI/ML
원문 읽기
Postgres 기반 결정적 메모리 레이어로 LongMemEval QA 정확도 73.6% 달성
I'm a marketer, not an engineer. I shipped open-source AI infrastructure in 3 months by directing AI coding agents.
AI 요약
Context
기존 AI Agent의 메모리 도구가 블랙박스 형태로 동작하여 데이터 출처 확인이 불가한 한계 발생. 모델이 직접 메모리를 수정하며 발생하는 데이터 오염으로 인해 Production 환경에서 에이전트 성능이 점진적으로 저하되는 문제 확인.
Technical Solution
- LLM의 직접 저장을 배제하고 프로그램이 팩트를 기록하는 결정적 Write Path 설계
- Content Hash 기반의 중복 데이터 거부 로직을 통한 데이터 무결성 확보
- 모든 팩트와 소스 문서를 연결하는 Evidence Chain 구조를 통해 데이터 추적성 확보
- MCP Server 규격을 채택하여 다양한 IDE 및 에이전트 간의 메모리 공유 체계 구축
- Local Ollama Embeddings 활용으로 API 키 없는 Full-text 및 Semantic Search 구현
- Local Knowledge Graph 구축을 통한 지식 구조화 및 컨텍스트 유지 능력 향상
실천 포인트
1. AI 메모리 설계 시 LLM의 자율 수정 기능을 제한하고 결정적 Write Path를 구축했는지 검토
2. RAG 시스템 도입 시 단순 요약이 아닌 원문 소스로의 역추적이 가능한 Evidence Chain 구조 설계
3. 다양한 도구 간 컨텍스트 공유를 위해 MCP(Model Context Protocol)와 같은 표준 인터페이스 고려