블로그 · 크롤링·색인
AI 크롤러 11종 정리: robots.txt에서 무엇을 허용할까
OpenAI·Perplexity·Anthropic·Google의 봇을 검색용·사용자 요청용·학습용으로 나누고, 사이트 운영자가 정할 robots.txt 기본값과 점검 방법을 정리했습니다.
- 작성
- OSKIT 팀 (어포메이션)
- 수정
- 4분 분량
이 글의 순서
요약
- AI 회사의 봇은 용도가 3가지로 나뉩니다. 검색 답변용, 사용자 요청용, 학습용입니다.
- 검색용 봇을 막으면 그 AI의 검색 답변에서 빠질 수 있습니다. 학습용 봇은 막아도 검색 답변에는 영향이 없다고 각 사가 안내합니다.
- UA 문자열은 위조할 수 있어, 방문 집계는 공개 IP 목록과 함께 대조합니다.
봇은 용도별로 3가지로 나뉩니다
AI 회사가 웹페이지를 가져가는 AI 크롤러는 한 회사에 하나가 있는 구조가 아닙니다. OpenAI는 3개, Perplexity는 2개, Anthropic은 3개의 봇을 용도별로 따로 운영합니다[1][2][3]. 용도는 세 가지입니다.
- 01검색 답변용: AI 검색 결과에 사이트를 넣기 위해 미리 수집합니다. 막으면 해당 AI의 검색 답변에서 빠질 수 있습니다.
- 02사용자 요청용: 사용자가 질문하거나 링크를 줄 때 그 순간 방문합니다. 자동 크롤이 아니라는 이유로 robots.txt가 적용되지 않을 수 있습니다.
- 03학습용: 모델 학습 데이터를 모읍니다. 막아도 검색 답변 노출에는 영향이 없다고 각 사가 안내합니다.
회사별 봇 목록 (2026년 11월 18일 확인)
| 회사 | UA 토큰 | 용도 | robots.txt |
|---|---|---|---|
| OpenAI | OAI-SearchBot | ChatGPT 검색 노출 | 따름. 반영 약 24시간 |
| OpenAI | ChatGPT-User | 사용자 요청 시 방문 | 적용 안 될 수 있음 |
| OpenAI | GPTBot | 학습 | 따름 |
| Perplexity | PerplexityBot | Perplexity 검색 노출 | 따름 |
| Perplexity | Perplexity-User | 사용자 요청 시 방문 | 대체로 무시 |
| Anthropic | Claude-SearchBot | Claude 검색 색인 | 따름 |
| Anthropic | Claude-User | 사용자 요청 시 방문 | 따름 |
| Anthropic | ClaudeBot | 학습 | 따름(Crawl-delay 포함) |
Googlebot | 검색 + AI Overviews + AI Mode | 따름 | |
Google-Extended | Gemini 등 학습·그라운딩 제어 토큰 | 따름(별도 크롤러 아님) | |
| OpenAI | OAI-AdsBot | ChatGPT 광고 랜딩 검수 | 광고 제출 페이지만 방문 |
OpenAI와 Perplexity는 공식 문서에서 직접 확인했습니다[1][2]. Anthropic 봇 3종은 지원 문서와 2차 기사로 확인했습니다[3][4].
Google은 구조가 다릅니다
Google은 AI 기능 전용 크롤러를 따로 두지 않습니다. AI Overviews와 AI Mode는 검색의 일부라서 Googlebot 규칙이 그대로 적용됩니다[5]. Google-Extended는 별도 크롤러가 없는 제어 토큰입니다. 이 토큰을 막으면 Gemini 등 다른 시스템이 콘텐츠를 학습·그라운딩에 쓰는 것만 막히고, Google 검색과 AI Overviews 노출에는 영향이 없습니다[5].
따라서 Googlebot을 막는 실수가 가장 큰 손실입니다. 스테이징 사이트의 Disallow: /가 운영 배포에 그대로 넘어오는 사고가 대표적입니다.
OSKIT이 쓰는 기본값
OSKIT의 Site Engine이 만드는 사이트는 아래 규칙으로 robots.txt를 생성합니다.
- 검색용·사용자 요청용 봇은 허용합니다:
OAI-SearchBot,ChatGPT-User,PerplexityBot,Perplexity-User,Claude-SearchBot,Claude-User,Googlebot,Bingbot,Yeti(네이버),Daumoa(다음). - 학습용 봇(
GPTBot,ClaudeBot,Google-Extended)은 기본 허용이며, 고객사가 설정 화면에서 끌 수 있습니다. - 관리자·API·로그인 경로는 모든 봇에 막습니다.
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Allow: /
User-agent: *
Allow: /
Disallow: /admin
Disallow: /api/
Sitemap: https://example.com/sitemap.xml학습용 봇 허용 여부는 업종과 회사 방침에 따라 다릅니다. 의료기관은 콘텐츠 재사용 범위를 원장과 정한 뒤 설정합니다.
robots.txt 만으로는 부족한 경우
robots.txt를 허용해 두어도 봇이 못 들어오는 경우가 있습니다. CDN이나 방화벽의 봇 차단 기능이 AI 봇을 막는 경우입니다. 이때는 robots.txt를 봐서는 원인을 찾을 수 없습니다.
점검 방법은 단순합니다. 각 UA 문자열로 홈 URL을 요청해 상태 코드를 기록합니다. 200 이 아닌 403·503 이 나오면 방화벽 규칙을 확인합니다. OSKIT은 이 점검을 매주 자동으로 돌립니다.
진짜 봇 방문을 세는 방법
UA 문자열은 누구나 흉내 낼 수 있습니다. 서버 로그에 GPTBot 이라고 찍혔다고 해서 OpenAI의 방문이라는 보장은 없습니다. OpenAI와 Perplexity는 봇별 IP 목록을 JSON으로 공개합니다[1][2]. 이 목록을 하루 1회 받아 두고, UA와 IP가 모두 맞는 요청만 봇 방문으로 셉니다.
이렇게 센 값은 두 가지에 씁니다. 첫째, 새 글을 발행한 뒤 검색용 봇이 며칠 안에 가져가는지 봅니다. 둘째, llms.txt를 몇 번 요청했는지 봅니다. 두 값 모두 Signal Engine 화면에서 날짜별로 확인할 수 있습니다.
점검 목록
- 01Googlebot이 어떤 경로에서도 막혀 있지 않은지 확인합니다.
- 02검색용 봇 4종(OAI-SearchBot, PerplexityBot, Claude-SearchBot, Bingbot)이 허용돼 있는지 확인합니다.
- 03학습용 봇 허용 여부를 회사 방침으로 정해 문서에 남깁니다.
- 04UA 별로 홈 URL을 요청해 200 이 나오는지 매주 기록합니다.
- 05봇 방문 집계는 UA와 공개 IP 목록을 함께 대조합니다.
이 글이 답하는 질문
GPTBot을 막으면 ChatGPT 검색에 안 나오나요?
OpenAI 문서 기준으로 ChatGPT 검색 노출은 OAI-SearchBot이 담당합니다. GPTBot은 학습용이라 막아도 검색 노출과는 별개입니다.
Google-Extended를 막으면 AI Overviews에서 빠지나요?
Google은 AI Overviews·AI Mode가 Googlebot 규칙을 따른다고 안내합니다. Google-Extended 차단은 Gemini 등 다른 시스템의 학습·그라운딩 사용에만 적용됩니다.
robots.txt를 바꾸면 언제 반영되나요?
OpenAI는 OAI-SearchBot 변경 반영에 약 24시간이 걸린다고 안내합니다. 다른 회사는 공개된 시간이 없습니다.
출처
- [1]OpenAI — Overview of OpenAI crawlershttps://developers.openai.com/api/docs/bots
- [2]Perplexity — Perplexity crawlershttps://docs.perplexity.ai/guides/bots
- [3]Anthropic — Does Anthropic crawl data from the webhttps://support.claude.com/en/articles/8896518
- [4]Search Engine Land — Anthropic Claude botshttps://searchengineland.com/anthropic-claude-bots-470171
- [5]Google Search Central — AI features and your websitehttps://developers.google.com/search/docs/appearance/ai-features