LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부

Context

베스트 리뷰 요약 서비스는 내부 검증된 리뷰만 대상으로 진행되어 선정되지 않은 상품들에는 요약 콘텐츠를 제공할 수 없었다. 베스트 리뷰가 1개만 존재하는 경우 요약과 원문이 동일한 콘텐츠가 생성되었다. 베스트 리뷰는 주 1회 일부 상품만 업데이트되어 신선 식품처럼 시의성이 중요한 상품의 최신 정보 반영이 어려웠다.

Technical Solution

• LLM의 컨텍스트 요약, 문맥 파악, 추론 능력을 활용하여 리뷰 선별 조건(최신성, 관련성, 부정 여부, 정보 제공도) 자동 판정
• 실험 1에서 각 선별 조건별로 Boolean 결과만 반환하도록 prompt 설계하여 기본 필터링 검증
• 실험 2에서 Chain-of-Thought(CoT) Prompting 기법 도입: LLM이 검증 단계를 명시적으로 세분화하고 각 단계별 근거를 함께 응답하도록 prompt 재설계
• Few-Shot CoT 방식으로 예시를 포함한 prompt 작성하여 LLM의 단계별 추론 유도
• 리뷰 검증 시 최신성(조회 기간 필터링), 관련성(다른 상품 정보 여부), 부정 후기 여부, 정보 제공도(단순 긍부정 vs 속성 정보) 항목별로 LLM이 검증하고 근거 제시

Impact

아티클에 정량적 수치가 명시되지 않음.

Key Takeaway

LLM의 추론 능력을 활용할 때는 최종 결과뿐 아니라 판단 근거까지 명시적으로 요구하는 CoT 기법을 적용하면 결과 정확성과 투명성을 동시에 확보할 수 있다. 비정형 텍스트 분석에서 기존 머신러닝 모델 구축 없이도 prompt 설계만으로 의미 있는 자동 검수를 수행할 수 있다.