llms.txt란 무엇인가? — AI에게 건네는 사이트 요약서

정의

llms.txt란 사이트 루트에 두는 마크다운 형식의 요약 파일로, 생성형 AI(LLM)에게 "이 사이트가 무엇이고, 핵심 페이지가 어디인지"를 사람이 읽는 문장으로 전달하는 제안 표준입니다. robots.txt가 "어디는 들어오지 마"라는 접근 규칙이라면, llms.txt는 "우리를 이렇게 이해해줘"라는 소개서에 가깝습니다.

왜 만들어야 하나

AI 크롤러는 HTML 전체를 읽지만, 내비게이션·배너·반복 요소가 섞인 페이지에서 핵심을 추리는 데 실패하기도 합니다. llms.txt는 노이즈 없이 정제된 요약을 제공해 AI가 브랜드를 정확히 설명하도록 돕습니다. 아직 모든 AI가 공식 지원하는 표준은 아니지만, 비용이 거의 들지 않고 손해 볼 것이 없는 조치입니다.

작성 규칙

• 위치: https://도메인/llms.txt (사이트 루트)
• 형식: 마크다운. 첫 줄은 # 서비스명, 이어서 한 단락 소개
• 본문: 핵심 페이지를 [이름](URL): 설명 목록으로 정리
• 길이: 한 화면 안에 들어올 만큼 짧게 — 요약서지 사이트맵이 아닙니다

실제 예시 (geo-seo.dev의 llms.txt 발췌)

robots.txt와의 관계

둘은 대체재가 아니라 보완재입니다. robots.txt에서 AI 크롤러의 접근을 허용해야 llms.txt도 읽힙니다. GPTBot·ClaudeBot 등을 차단하면서 llms.txt만 두는 것은 문을 잠그고 안내문을 붙이는 셈입니다. 크롤러별 허용 방법은 AI 크롤러의 이해를 참고하세요.