월 10만 건의 고밀도 AI 답글 생성을 위한 페르소나 기반 최적화 및 중복 제거 설계

Context

단순 LLM 프롬프트를 통한 자동 답글 생성 시 발생하는 획일적인 말투와 반복적인 문장 구조의 한계 직면. 특히 소셜 미디어 특성상 빠른 응답 속도와 인간에 가까운 다양성이 요구되는 상황에서 일반적인 챗봇 스타일의 응답은 낮은 도달률과 계정 제재 위험을 초래함.

Technical Solution

• 페르소나 기반 Layered Prompt 구조 설계로 단순 AI 비서 말투를 탈피하고 운영자별 고유 관점 반영
• 5가지 조절 가능 차원(Tone, Assertiveness, Length, Expertise, Engagement)을 슬라이더 형태로 맵핑하여 프롬프트 모디파이어로 변환
• Rolling Context Window 기법을 도입하여 최근 5~8개의 생성 결과물을 버퍼에 저장하고 유사 구조 생성을 방지하는 Deduplication 로직 구현
• Prompt Rotation 전략을 통해 3~5개의 서로 다른 리드 방식(경험, 데이터, 질문, 반론)을 순환 적용하여 구조적 다양성 확보
• LLM이 품질 낮은 응답을 강제로 생성하는 것을 방지하기 위한 SKIP 메커니즘을 도입하여 전체 생성물의 약 8~12%를 필터링
• 추론 속도 최적화를 위해 고성능 거대 모델 대신 지시 이행 능력이 검증된 Fast Inference 모델 채택으로 응답 지연 시간 최소화