용어집 · 검색 기술
robots.txt
robots.txt는 사이트 루트에 두는 텍스트 파일로, 크롤러별로 어떤 경로를 수집해도 되는지 알린다.
- 작성
- OSKIT 팀 (어포메이션)
- 수정
정의
robots.txt는 사이트 루트에 두는 텍스트 파일로, 크롤러별로 어떤 경로를 수집해도 되는지 알린다.
robots.txt
작동 방식과 맥락
User-agent 줄로 크롤러를 고르고 Allow·Disallow로 경로를 지정한다. 색인 차단 수단은 아니다. 색인을 막으려면 noindex를 쓴다.
AI 검색 봇을 막으면 해당 AI 검색 답변에서 빠질 수 있다. OpenAI는 OAI-SearchBot 차단 반영에 약 24시간이 걸린다고 안내한다.
점검 항목
- 01AI 검색 봇과 학습 봇을 구분해 설정했는지
- 02관리자·API 경로를 막았는지
- 03CDN·방화벽이 봇을 따로 막지 않는지
같이 보는 용어: AI 크롤러 · Google-Extended · llms.txt · 사이트맵 (sitemap.xml)
출처
- [1]Google Search Central — Introduction to robots.txthttps://developers.google.com/search/docs/crawling-indexing/robots/intro
- [2]OpenAI — Overview of OpenAI crawlershttps://developers.openai.com/api/docs/bots