피드로 돌아가기
Dev.toAI/ML
원문 읽기
Style-Content 분리 메모리 계층 설계로 LLM의 반복적 수정 문제 해결
Why I got frustrated with AI job search tools and built my own
AI 요약
Context
Single-shot Generation과 LLM 기반 Style Rule 추출 방식의 한계로 인해 사용자의 구체적인 문구 수정 사항이 반영되지 않는 현상 발생. Rule 기반 추상화는 개별 성과에 대한 정밀한 Phrasing을 유지하지 못하며, 낮은 Confidence Threshold 설정 시 Noise가 증가하는 Trade-off 존재.
Technical Solution
- Style과 Content를 분리한 Two-tier Memory 구조 도입을 통한 데이터 모델 정교화
- Entity-based Keying(accomplishment_id, employer_key 등)을 적용한 content_memory 테이블 설계로 정밀한 텍스트 추적 구현
- (entity_type, entity_key, source_doc_id) 조합의 Unique Constraint 설정을 통한 세션 내 최신 상태 유지 및 이력 관리
- 과거 작성 데이터를 LLM Prompt에 Soft Grounding으로 제공하여 사용자 Voice를 유지하는 구조 채택
- Deterministic Text Replacement와 Soft Grounding을 분리하여 사용자 제어권과 AI 생성 유연성을 동시에 확보
- OpenAI-compat Endpoint 기반 Factory 패턴 적용을 통한 LLM Provider 독립적 아키텍처 구축
실천 포인트
- 사용자 스타일 학습 시 일반적 규칙(Style)과 구체적 데이터(Content)의 저장 계층을 분리했는지 확인 - LLM의 일관성 없는 지시 이행을 방지하기 위해 Soft Constraint 대신 Explicit Grounding 데이터 제공 검토 - 단순한 임베딩 기반 Fuzzy Retrieval보다 정확한 매칭이 필요한 경우 Stable Entity ID 기반의 Exact Lookup 설계 고려 - 프롬프트 튜닝의 정량적 검증을 위한 Semantic Eval Suite를 파이프라인 초기 단계에 통합