피드로 돌아가기
Dev.toAI/ML
원문 읽기
Groq LLM과 Knowledge Graph 기반의 실시간 조직 지식 자동 자산화 시스템 구축
We Built an AI That Remembers Everything Your Team Forgets
AI 요약
Context
분산된 Slack 대화 속에 파편화된 기술 지식의 유실로 인한 연간 315억 달러 규모의 생산성 손실 발생. 기존의 수동 문서화 방식은 업데이트 지연과 기록 누락이라는 구조적 한계를 지님.
Technical Solution
- Bolt SDK Socket Mode 기반의 Passive Ingestion 파이프라인 구축을 통한 사용자 개입 없는 데이터 수집
- Groq의 Qwen 3 32B 모델을 활용하여 메시지당 200ms 이내의 고속 Entity Extraction 수행
- 추출된 기술, 의사결정, 인물 간의 관계를 Node와 Edge로 매핑하는 실시간 Knowledge Graph 구조 설계
- Exponential Decay Scoring 알고리즘 적용을 통한 30일 미참조 지식의 가중치 감소 및 최신 전문성 유지
- WebSocket 기반의 React Force-directed Visualization 도입으로 지식 흐름의 실시간 시각화 구현
- TypeScript Monorepo 구조를 통한 Type 공유 및 Memory, Graph, Agent 로직의 모듈화 관리
실천 포인트
1. 실시간성 확보를 위해 LLM 추론 지연 시간을 200ms 수준으로 낮출 수 있는 고성능 추론 엔진(Groq 등) 검토
2. 데이터 오염 방지를 위해 시간 경과에 따른 지식 가중치를 조절하는 Decay Score 메커니즘 도입 고려
3. 복잡한 엔티티 간의 상관관계 분석이 필요할 경우 RDB 대신 Knowledge Graph 모델링 적용