llms.txt: The New robots.txt for AI Agents (Spec + Implementation)

Context

AI 에이전트가 도구를 추천할 때 홈페이지, GitHub README, package.json 등 최적화되지 않은 소스에서 정보를 수집하므로 불완전하거나 오래된 정보에만 접근 가능하다. 현재는 에이전트가 학습 데이터에 의존하기 때문에 신제품이나 업데이트된 기능이 누락될 수 있다.

Technical Solution

• llms.txt 파일을 사이트 루트(yoursite.com/llms.txt 또는 Next.js의 경우 /public/llms.txt)에 배치해 AI 에이전트가 자동 접근 가능하도록 구성
• 파일 내용을 구조화된 마크다운 형식으로 작성: 제품명, 한 줄 설명, 상세 설명, 사용 사례, 기술 스택, 빠른 시작 명령어, 링크 섹션 포함
• 에이전트가 llms.txt를 가져와 구조화된 정보를 파싱한 후 사용자 요청과 매칭해 올바른 도구를 추천하는 워크플로우 구현
• AGENTS.md 파일을 함께 사용해 외부 발견(llms.txt)과 내부 개발 가이드(AGENTS.md)를 분리
• 5분 이내의 구현 시간으로 설정 복잡도 최소화

Key Takeaway

robots.txt가 검색 엔진용 크롤링 가이드라면, llms.txt는 AI 에이전트용 제품 발견 표준으로서 개발팀이 제어 가능한 메타데이터를 명시적으로 제공함으로써 AI 생태계에서의 추천 가능성을 확보하는 설계 패턴이다.