AI 크롤러의 이해 — 내 사이트는 AI에게 어떻게 보이나

주요 AI 크롤러

robots.txt로 허용하기

GEO 관점에서는 이들을 허용하는 것이 기본값입니다. 노출을 원하면서 크롤러를 막는 것이 실무에서 가장 흔한 자충수입니다.

크롤러가 읽지 못하는 것 — 실측에서 배운 것

저희 분석 엔진으로 실제 사이트들을 크롤링하며 반복 확인한 함정들입니다.

• 자바스크립트로만 그려지는 내비게이션 — 서버 HTML에 <a href> 링크가 없으면 크롤러는 첫 페이지에서 멈춥니다. 대형 커머스·포털에서도 흔히 발견됩니다.
• robots.txt의 잘못된 사이트맵 주소 — https 사이트가 사이트맵을 http:// 주소로 선언하면 일부 크롤러가 통째로 무시합니다. 실제 뉴스 사이트 진단에서 이 문제로 사이트맵 100개 URL이 전부 버려지는 사례를 확인했습니다 (사례 보기).
• 이미지 안의 텍스트 — 로고·배너 이미지 속 문구는 alt가 없으면 존재하지 않는 정보입니다.
• 숨김 처리된 콘텐츠 — hidden 속성이나 스크립트 템플릿 안의 텍스트는 신뢰 신호로 계산되지 않는 것이 정상입니다.

차단이 맞는 경우

콘텐츠 라이선스가 수익원인 미디어라면 학습용 크롤러(GPTBot·CCBot)만 차단하고 검색·인용용(OAI-SearchBot 등)은 허용하는 절충이 일반적입니다. 전면 차단은 AI 답변에서 사라지는 대가를 치릅니다.