본문으로 건너뛰기

블로그 · 크롤링·색인

AI 크롤러 11종 정리: robots.txt에서 무엇을 허용할까

OpenAI·Perplexity·Anthropic·Google의 봇을 검색용·사용자 요청용·학습용으로 나누고, 사이트 운영자가 정할 robots.txt 기본값과 점검 방법을 정리했습니다.

작성
OSKIT 팀 (어포메이션)
수정
4분 분량
이 글의 순서
  1. 01봇은 용도별로 3가지로 나뉩니다
  2. 02회사별 봇 목록 (2026년 11월 18일 확인)
  3. 03Google은 구조가 다릅니다
  4. 04OSKIT이 쓰는 기본값
  5. 05robots.txt 만으로는 부족한 경우
  6. 06진짜 봇 방문을 세는 방법
  7. 07점검 목록

요약

  • AI 회사의 봇은 용도가 3가지로 나뉩니다. 검색 답변용, 사용자 요청용, 학습용입니다.
  • 검색용 봇을 막으면 그 AI의 검색 답변에서 빠질 수 있습니다. 학습용 봇은 막아도 검색 답변에는 영향이 없다고 각 사가 안내합니다.
  • UA 문자열은 위조할 수 있어, 방문 집계는 공개 IP 목록과 함께 대조합니다.

봇은 용도별로 3가지로 나뉩니다

AI 회사가 웹페이지를 가져가는 AI 크롤러는 한 회사에 하나가 있는 구조가 아닙니다. OpenAI는 3개, Perplexity는 2개, Anthropic은 3개의 봇을 용도별로 따로 운영합니다[1][2][3]. 용도는 세 가지입니다.

  1. 01검색 답변용: AI 검색 결과에 사이트를 넣기 위해 미리 수집합니다. 막으면 해당 AI의 검색 답변에서 빠질 수 있습니다.
  2. 02사용자 요청용: 사용자가 질문하거나 링크를 줄 때 그 순간 방문합니다. 자동 크롤이 아니라는 이유로 robots.txt가 적용되지 않을 수 있습니다.
  3. 03학습용: 모델 학습 데이터를 모읍니다. 막아도 검색 답변 노출에는 영향이 없다고 각 사가 안내합니다.

회사별 봇 목록 (2026년 11월 18일 확인)

회사UA 토큰용도robots.txt
OpenAIOAI-SearchBotChatGPT 검색 노출따름. 반영 약 24시간
OpenAIChatGPT-User사용자 요청 시 방문적용 안 될 수 있음
OpenAIGPTBot학습따름
PerplexityPerplexityBotPerplexity 검색 노출따름
PerplexityPerplexity-User사용자 요청 시 방문대체로 무시
AnthropicClaude-SearchBotClaude 검색 색인따름
AnthropicClaude-User사용자 요청 시 방문따름
AnthropicClaudeBot학습따름(Crawl-delay 포함)
GoogleGooglebot검색 + AI Overviews + AI Mode따름
GoogleGoogle-ExtendedGemini 등 학습·그라운딩 제어 토큰따름(별도 크롤러 아님)
OpenAIOAI-AdsBotChatGPT 광고 랜딩 검수광고 제출 페이지만 방문

OpenAI와 Perplexity는 공식 문서에서 직접 확인했습니다[1][2]. Anthropic 봇 3종은 지원 문서와 2차 기사로 확인했습니다[3][4].

Google은 구조가 다릅니다

Google은 AI 기능 전용 크롤러를 따로 두지 않습니다. AI Overviews와 AI Mode는 검색의 일부라서 Googlebot 규칙이 그대로 적용됩니다[5]. Google-Extended는 별도 크롤러가 없는 제어 토큰입니다. 이 토큰을 막으면 Gemini 등 다른 시스템이 콘텐츠를 학습·그라운딩에 쓰는 것만 막히고, Google 검색과 AI Overviews 노출에는 영향이 없습니다[5].

따라서 Googlebot을 막는 실수가 가장 큰 손실입니다. 스테이징 사이트의 Disallow: /가 운영 배포에 그대로 넘어오는 사고가 대표적입니다.

OSKIT이 쓰는 기본값

OSKIT의 Site Engine이 만드는 사이트는 아래 규칙으로 robots.txt를 생성합니다.

  • 검색용·사용자 요청용 봇은 허용합니다: OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, Claude-SearchBot, Claude-User, Googlebot, Bingbot, Yeti(네이버), Daumoa(다음).
  • 학습용 봇(GPTBot, ClaudeBot, Google-Extended)은 기본 허용이며, 고객사가 설정 화면에서 끌 수 있습니다.
  • 관리자·API·로그인 경로는 모든 봇에 막습니다.
txt
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: *
Allow: /
Disallow: /admin
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

학습용 봇 허용 여부는 업종과 회사 방침에 따라 다릅니다. 의료기관은 콘텐츠 재사용 범위를 원장과 정한 뒤 설정합니다.

robots.txt 만으로는 부족한 경우

robots.txt를 허용해 두어도 봇이 못 들어오는 경우가 있습니다. CDN이나 방화벽의 봇 차단 기능이 AI 봇을 막는 경우입니다. 이때는 robots.txt를 봐서는 원인을 찾을 수 없습니다.

점검 방법은 단순합니다. 각 UA 문자열로 홈 URL을 요청해 상태 코드를 기록합니다. 200 이 아닌 403·503 이 나오면 방화벽 규칙을 확인합니다. OSKIT은 이 점검을 매주 자동으로 돌립니다.

진짜 봇 방문을 세는 방법

UA 문자열은 누구나 흉내 낼 수 있습니다. 서버 로그에 GPTBot 이라고 찍혔다고 해서 OpenAI의 방문이라는 보장은 없습니다. OpenAI와 Perplexity는 봇별 IP 목록을 JSON으로 공개합니다[1][2]. 이 목록을 하루 1회 받아 두고, UA와 IP가 모두 맞는 요청만 봇 방문으로 셉니다.

이렇게 센 값은 두 가지에 씁니다. 첫째, 새 글을 발행한 뒤 검색용 봇이 며칠 안에 가져가는지 봅니다. 둘째, llms.txt를 몇 번 요청했는지 봅니다. 두 값 모두 Signal Engine 화면에서 날짜별로 확인할 수 있습니다.

점검 목록

  1. 01Googlebot이 어떤 경로에서도 막혀 있지 않은지 확인합니다.
  2. 02검색용 봇 4종(OAI-SearchBot, PerplexityBot, Claude-SearchBot, Bingbot)이 허용돼 있는지 확인합니다.
  3. 03학습용 봇 허용 여부를 회사 방침으로 정해 문서에 남깁니다.
  4. 04UA 별로 홈 URL을 요청해 200 이 나오는지 매주 기록합니다.
  5. 05봇 방문 집계는 UA와 공개 IP 목록을 함께 대조합니다.

이 글이 답하는 질문

GPTBot을 막으면 ChatGPT 검색에 안 나오나요?

OpenAI 문서 기준으로 ChatGPT 검색 노출은 OAI-SearchBot이 담당합니다. GPTBot은 학습용이라 막아도 검색 노출과는 별개입니다.

Google-Extended를 막으면 AI Overviews에서 빠지나요?

Google은 AI Overviews·AI Mode가 Googlebot 규칙을 따른다고 안내합니다. Google-Extended 차단은 Gemini 등 다른 시스템의 학습·그라운딩 사용에만 적용됩니다.

robots.txt를 바꾸면 언제 반영되나요?

OpenAI는 OAI-SearchBot 변경 반영에 약 24시간이 걸린다고 안내합니다. 다른 회사는 공개된 시간이 없습니다.

출처

  1. [1]OpenAI — Overview of OpenAI crawlershttps://developers.openai.com/api/docs/bots
  2. [2]Perplexity — Perplexity crawlershttps://docs.perplexity.ai/guides/bots
  3. [3]Anthropic — Does Anthropic crawl data from the webhttps://support.claude.com/en/articles/8896518
  4. [4]Search Engine Land — Anthropic Claude botshttps://searchengineland.com/anthropic-claude-bots-470171
  5. [5]Google Search Central — AI features and your websitehttps://developers.google.com/search/docs/appearance/ai-features

AI 채팅에서 요약 보기

페이지 주소만 넘깁니다.

무료 진단으로 검색·AI 답변 노출 상태를 확인합니다

홈페이지 주소를 넣으면 검색엔진·AI 봇 접근과 색인 상태를 바로 보여 드립니다.

3분 · 비용 없음 · 계약 의무 없음