AI 크롤러의 이해 — 내 사이트는 AI에게 어떻게 보이나

주요 AI 크롤러

robots.txt로 허용하기

GEO 관점에서는 이들을 허용하는 것이 기본값입니다. 노출을 원하면서 크롤러를 막는 것이 실무에서 가장 흔한 자충수입니다.

가장 중요한 것은 검색용 봇입니다. AI 답변에 노출되고 싶다면 OAI-SearchBot(ChatGPT 검색)을 반드시 허용해야 합니다. 학습용 봇(GPTBot)만 허용하고 검색용을 빠뜨리는 설정이 의외로 흔한데, 이러면 콘텐츠는 학습에 쓰이면서 정작 검색 노출은 못 받습니다.

검색 노출은 원하지만 모델 학습은 원치 않는다면

콘텐츠 자체가 자산인 미디어·유료 콘텐츠 사업자가 자주 택하는 절충안입니다. 두 봇을 반드시 분리해서 적어야 합니다.

크롤러가 읽지 못하는 것 — 실측에서 배운 것

저희 분석 엔진으로 실제 사이트들을 크롤링하며 반복 확인한 함정들입니다.

• 자바스크립트로만 그려지는 내비게이션 — 서버 HTML에 <a href> 링크가 없으면 크롤러는 첫 페이지에서 멈춥니다. 대형 커머스·포털에서도 흔히 발견됩니다.
• robots.txt의 잘못된 사이트맵 주소 — https 사이트가 사이트맵을 http:// 주소로 선언하면 크롤러에 따라 사이트맵을 제대로 읽지 못할 수 있습니다(저희 분석 엔진도 한때 이 선언 때문에 사이트맵을 버리는 오판을 했고 고쳤습니다). 실제 뉴스 사이트 진단에서 이 문제로 사이트맵 100개 URL이 전부 버려지는 사례를 확인했습니다 (사례 보기).
• 이미지 안의 텍스트 — 로고·배너 이미지 속 문구는 alt가 없으면 존재하지 않는 정보입니다.
• 숨김 처리된 콘텐츠 — hidden 속성이나 스크립트 템플릿 안의 텍스트는 신뢰 신호로 계산되지 않는 것이 정상입니다.

차단이 맞는 경우

콘텐츠 라이선스가 수익원인 미디어라면 학습용 크롤러(GPTBot·CCBot)만 차단하고 검색·인용용(OAI-SearchBot 등)은 허용하는 절충이 일반적입니다. 전면 차단은 AI 답변에서 사라지는 대가를 치릅니다.