VRAM 최적화를 위한 HDC 기반 경량 로컬 LLM 메모리 게이트 설계

Context

무거운 Neural Vector Database 운용에 따른 리소스 오버헤드와 VRAM 낭비 문제 해결 필요. 완전히 오프라인 환경에서 동작하는 가벼운 메모리 레이어 구축을 통한 로컬 LLM의 효율성 확보 목적.

Technical Solution

• SQLite 기반의 Subject-Predicate-Object 트리플 구조를 통한 견고한 Symbolic Foundation 구축
• Hebbian Plasticity 원리를 적용하여 대화 중 개념 간 공통 발생 빈도에 따른 Gradient-free Associative Weights 추적
• 10,000-dimensional Leaky Context Vector를 활용한 Hyperdimensional Computing(HDC)으로 대명사 해결 및 Hallucination 방지용 쿼리 블로킹 수행
• 사실당 정확히 3개의 컴포넌트를 유지하는 Constant-Component-Count 제약을 통해 Vector Norm 균형 및 검색 신뢰도 확보
• Neuro-symbolic AI 접근 방식을 통한 심볼릭 데이터 저장과 벡터 기반 컨텍스트 매칭의 하이브리드 구조 설계