GOV.UK AI chatbot 90% accurate but 10.7s response time frustrates users

Context

AI-mediated search가 GOV.UK 직접 방문을 추월하고 있음. AI 도구가 질문에만 답하는 구조 때문에 사용자의 기존 지식 수준에 머물러Discovery가 제한됨.

Technical Solution

• GOV.UK 전용 AI 챗봇: 공식 사이트 콘텐츠만 학습 데이터로 사용하여 신뢰성 확보함
• 정확도 목표: 90% 정확도 달성을 목표로 반복 개선 중임
• 응답 속도 최적화: 현재 평균 10.7초 지연 문제를 해결하기 위해 답변 분할 방식 고려 중임
• Dual audience 설계: 사람과 AI 에이전트 모두를 위한 구조화된 콘텐츠 설계 필요함
• 컨텍스트 안전성 검증: 단락 단위 Decontextualization 시에도 정확한 정보 전달이 가능해야 함

Impact

챗봇 정확도 90% 달성함. 평균 응답 시간 10.7초로 사용자 불만 발생 중임.

Key Takeaway

공식 정보 제공자는 AI 에이전트가 정보를 재해석하는 상황을 전제하고 콘텐츠를 설계해야 함. 명확한 구조화와 맥락 독립적 정확성이 핵심 요구사항임.