컨텍스트 윈도우 낭비 끝, 계층형 AI 메모리 설계 전략

Context

거대해진 지침 파일로 인한 AI 정확도 저하 문제 발생. 컨텍스트 윈도우의 과도한 점유로 질문 전 토큰 소모 가속화. 파일 중앙부의 지침이 무시되는 현상 확인.

Technical Solution

• 전역 규칙과 라우팅 테이블만 포함하는 200라인 제한의 Tier 1 Constitution 설계
• 반복적 실수와 예외 케이스를 즉각 반영하는 50라인 규모의 Tier 2 Living Memory 운용
• 프로젝트 단위로 비즈니스 로직과 스키마를 분리하여 필요한 시점에만 로드하는 Tier 3 Project Brains 구조
• SQLite FTS5 및 Markdown 기반의 온디맨드 쿼리 방식인 Tier 4 Knowledge Store 도입
• 대화 이력을 SQLite에 기록하고 세션 시작 시 브리핑을 수행하는 Session Memory 레이어 구축
• API 비용 낭비 방지를 위한 배치 캡(Batch Cap 5), 처리 플래그, 락 파일 적용

Key Takeaway

제한된 컨텍스트 자원을 효율적으로 사용하기 위해 정보의 휘발성과 중요도에 따라 계층적 저장 구조를 설계하는 전략적 접근 필요.