15개 Prompt 샘플링 기반 AI 가시성 측정 및 정밀 탐지 로직 설계

Context

브랜드의 AI 검색 노출 빈도를 정량화하는 AI Visibility Score 측정 시스템 구축 필요성 대두. 과도한 API 비용과 응답 시간 증가, 그리고 샘플 수에 따른 데이터 변동성 사이의 Trade-off 해결이 핵심 과제임.

Technical Solution

• 비용 효율성과 통계적 유의성 확보를 위해 Variance가 5포인트 미만으로 수렴하는 15개 Prompt 샘플링 최적화
• Claude Sonnet 4를 Reference LLM으로 활용하여 사용자 의도가 반영된 15종의 Natural Language Question 자동 생성
• 편향성 제거를 위해 Prompt 내 브랜드명 언급을 배제한 Blind Test 구조 설계
• 다중 모델(Claude, GPT-4o, Perplexity, Gemini) 병렬 쿼리를 통한 Cross-Model 검증 및 OR 조건 기반의 Mention 판정 로직 적용
• Case-insensitive Match, Domain Match, 70% 이상의 유의어 포함 여부를 판별하는 Partial Match 및 Word Boundary 기반의 정밀 탐지 알고리즘 구현
• 데이터 오염 방지를 위해 일반 플랫폼(Google Maps, Yelp 등)을 탐지 대상에서 제외하는 Filtering Layer 구축