본문으로 건너뛰기

용어집 · 검색 기술

robots.txt

robots.txt는 사이트 루트에 두는 텍스트 파일로, 크롤러별로 어떤 경로를 수집해도 되는지 알린다.

작성
OSKIT 팀 (어포메이션)
수정
이 글의 순서
  1. 01정의
  2. 02작동 방식과 맥락
  3. 03점검 항목
  4. 04OSKIT에서 처리하는 곳

정의

robots.txt는 사이트 루트에 두는 텍스트 파일로, 크롤러별로 어떤 경로를 수집해도 되는지 알린다.

robots.txt

작동 방식과 맥락

User-agent 줄로 크롤러를 고르고 Allow·Disallow로 경로를 지정한다. 색인 차단 수단은 아니다. 색인을 막으려면 noindex를 쓴다.

AI 검색 봇을 막으면 해당 AI 검색 답변에서 빠질 수 있다. OpenAI는 OAI-SearchBot 차단 반영에 약 24시간이 걸린다고 안내한다.

점검 항목

  1. 01AI 검색 봇과 학습 봇을 구분해 설정했는지
  2. 02관리자·API 경로를 막았는지
  3. 03CDN·방화벽이 봇을 따로 막지 않는지

OSKIT에서 처리하는 곳

Site Engine

OSKIT 사이트 기본값은 검색·사용자 방문 봇 허용, 학습용 봇은 고객사가 설정에서 끄고 켭니다.

기능 보기

같이 보는 용어: AI 크롤러 · Google-Extended · llms.txt · 사이트맵 (sitemap.xml)

출처

  1. [1]Google Search Central — Introduction to robots.txthttps://developers.google.com/search/docs/crawling-indexing/robots/intro
  2. [2]OpenAI — Overview of OpenAI crawlershttps://developers.openai.com/api/docs/bots

AI 채팅에서 요약 보기

페이지 주소만 넘깁니다.

무료 진단으로 검색·AI 답변 노출 상태를 확인합니다

홈페이지 주소를 넣으면 검색엔진·AI 봇 접근과 색인 상태를 바로 보여 드립니다.

3분 · 비용 없음 · 계약 의무 없음