피드로 돌아가기
How Be Recommended by Inithouse Scores AI Visibility 0 to 100 Across ChatGPT, Perplexity, Claude and Gemini
Dev.toDev.to
AI/ML

4대 LLM API 기반 AI Visibility 정량적 측정 파이프라인 설계

How Be Recommended by Inithouse Scores AI Visibility 0 to 100 Across ChatGPT, Perplexity, Claude and Gemini

Jakub2026년 6월 24일5intermediate

Context

전통적인 SEO 지표가 LLM의 추천 로직과 괴리되는 현상 발생. 단순 검색 노출과 달리 AI 모델이 제품을 추천하는 메커니즘을 정량적으로 측정할 수 있는 표준화된 스코어링 체계 부재.

Technical Solution

  • 50개 이상의 Real-world Prompt Bank를 Direct, Comparative, Situational 카테고리로 분류하여 다각도 시그널 추출
  • Neutral Account 기반의 Multi-engine Querying을 통한 LLM 응답 데이터의 객관성 확보 및 Timestamp 기반 시계열 추적
  • Presence(0.4), Position(0.35), Sentiment(0.25)의 가중치 합산을 통한 Engine별 개별 점수 산출
  • LLM 시장 점유율 및 사용자 행동 데이터를 반영한 가중치(w1~w4) 적용으로 최종 Composite Score 도출
  • 단순 수치를 넘어 Structured Data Markup 및 Entity Building 기회 포착을 위한 기술적 피드백 루프 구축

Key Takeaway

비정형 LLM 응답을 Presence, Position, Sentiment라는 세 가지 정량적 지표로 구조화하여 측정 가능한 엔지니어링 지표로 변환한 설계 패턴


- LLM 기반 서비스 평가 시 단순 Yes/No가 아닌 가중치 기반의 다면 평가 지표 설계 - 모델 업데이트에 따른 변동성 추적을 위한 Query Timestamp 기록 체계 구축 - 사용자 의도에 따른 Prompt Category 세분화로 추천 시그널의 원인 분석 - 시장 점유율에 따른 가중치 정규화(Normalization) 적용으로 최종 지표 신뢰도 확보

원문 읽기