JSONL 기반 Dossier 주입을 통한 페르소나 확장 및 댓글 생성 정밀도 향상

I wired 908 creator dossiers into my Substack commenter. Here is what changed.

Deva2026년 6월 7일3분intermediate

AI 요약

Context

기존 410명의 제한된 Creator Pool과 일반적인 프롬프트 구조로 인해 생성된 댓글의 Generic한 특성이 문제로 작용. 대상에 대한 컨텍스트 없이 기술적 정답만 제시하는 구조적 한계로 인해 사용자 경험 저하 발생.

JSONL 형식의 Creator Dossier를 활용한 Lazy Loading 기반의 creator_index() 구현으로 메모리 효율성 확보
Substack URL의 불일치 문제를 해결하기 위해 Lowercase 및 Scheme 제거를 포함한 Host Normalization 로직 적용
load_authors() 함수를 통한 데이터 Union으로 Creator Pool을 410명에서 1,094명으로 확장하여 생성 다양성 확보
Confidence Floor 기반의 Gating 로직을 적용한 _enrichment_block() 설계로 고신뢰도 컨텍스트만 프롬프트에 주입
_live_score() 내 가중치(w=0.15) 부여를 통해 확정적 선택을 피하면서 고품질 Creator를 우선 선택하는 Probabilistic Selection 구현
환경 변수를 활용한 Kill Switch 설계로 런타임 중 시스템 롤백 및 기능 제어 가능 구조 구축

실천 포인트

1. 외부 데이터 주입 시 데이터 오염 방지를 위한 Normalization 및 QA 필터링 단계 필수 포함

2. 기능 배포 시 환경 변수 기반의 Kill Switch를 설계하여 런타임 리스크 최소화

3. 확률적 선택 로직 설계 시 Deterministic한 결과가 나오지 않도록 미세 가중치(Nudge) 적용 검토

4. 컨텍스트 주입 시 데이터 성격에 따라 개별적인 Confidence Threshold 설정 고려

태그