가이드 · 크롤링·색인
llms.txt·robots.txt 설정 순서와 점검 명령
AI 검색 봇과 학습 봇을 나눠 robots.txt를 쓰고, llms.txt를 만들고, curl로 상태 코드를 확인하는 순서.
- 작성
- OSKIT 팀 (어포메이션)
- 수정
- 2분 분량
이 글의 순서
요약
- robots.txt는 수집 허용 범위, llms.txt는 읽을 페이지 목록입니다. llms.txt 로는 접근을 막을 수 없습니다.
- 검색용 봇(OAI-SearchBot, PerplexityBot, Claude-SearchBot)은 허용하고, 학습용 봇은 회사 방침으로 정합니다.
- 설정 후 봇별 UA로 홈을 요청해 200 이 나오는지 확인합니다.
단계 요약
- 1
현재 robots.txt 확인
https://도메인/robots.txt를 열어 Googlebot이나 전체(*)를 막는 줄이 있는지 봅니다.
- 2
봇 목록과 정책 정하기
검색용·사용자 요청용·학습용 봇을 나누고 학습용 허용 여부를 정합니다.
- 3
robots.txt 작성
봇별 Allow와 관리자·API 경로 Disallow, Sitemap 줄을 씁니다.
- 4
llms.txt 작성
H1 사이트명, 요약 인용문, H2 링크 목록 순서로 정규 URL만 넣습니다.
- 5
상태 코드 점검
curl로 봇별 UA 요청을 보내 200 인지 확인하고, 403·503 이면 방화벽 규칙을 봅니다.
- 6
변경 기록
바꾼 날짜와 내용을 기록합니다. OAI-SearchBot 변경은 약 24시간 뒤 반영됩니다.
결론부터
robots.txt에서 AI 검색용 봇을 허용하고, 학습용 봇은 회사 방침으로 정하고, llms.txt에 정규 URL 목록을 적은 뒤, 봇별 UA로 요청해 200 이 나오는지 확인합니다. 작업 시간은 1~2시간입니다.
1. 현재 상태 확인
curl -s https://example.com/robots.txt
curl -s -o /dev/null -w "%{http_code}\n" https://example.com/llms.txt확인할 것은 세 가지입니다.
User-agent: *아래Disallow: /가 있는지(전체 차단)User-agent: Googlebot을 막는 줄이 있는지- 스테이징 설정이 운영에 남아 있는지
2. 봇 정책 표
| 구분 | 봇 | 기본값 | 막으면 |
|---|---|---|---|
| 검색 | OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot, Bingbot, Yeti, Daumoa | 허용 | 해당 검색·AI 검색 답변에서 빠질 수 있음 |
| 사용자 요청 | ChatGPT-User, Perplexity-User, Claude-User | 허용 | 사용자가 링크를 줘도 못 읽을 수 있음 |
| 학습 | GPTBot, ClaudeBot, Google-Extended | 회사 방침 | 학습·그라운딩 사용 제외. 검색 노출과 별개 |
OpenAI는 ChatGPT-User가 사용자 요청이라 robots.txt가 적용되지 않을 수 있다고 안내하고, Perplexity는 Perplexity-User가 대체로 robots.txt를 무시한다고 적습니다.
3. robots.txt 작성
# 검색·AI 검색
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
# 학습 (회사 방침에 따라 Allow 또는 Disallow)
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
# 전체
User-agent: *
Allow: /
Disallow: /admin
Disallow: /api/
Disallow: /login
Sitemap: https://example.com/sitemap.xmlrobots.txt는 색인 차단 수단이 아닙니다. 검색 결과에서 페이지를 빼려면 페이지에 noindex를 씁니다. robots.txt로 막은 페이지는 크롤러가 noindex를 읽지 못합니다.
4. llms.txt 작성
# 병원 이름
> 서울 강남구 OO역 3번 출구, 피부과. 진료 언어 한국어·일본어·영어.
## 진료
- [리프팅 시술](https://example.com/treatments/lifting): 시술 종류, 소요 시간, 가격 범위
- [가격](https://example.com/prices): 시술별 가격 범위
## 병원 정보
- [의료진](https://example.com/doctors): 전문의 3명, 경력
- [오시는 길](https://example.com/location): 주소, 지하철, 주차
## Optional
- [블로그](https://example.com/blog)규칙은 네 가지입니다.
- 01링크는 정규 URL만 씁니다.
- 02설명에는 그 페이지의 사실을 씁니다.
- 03비공개 경로는 넣지 않습니다.
- 04페이지가 바뀌면 다시 만듭니다. 사이트 구조 데이터에서 자동 생성하는 방식이 관리가 쉽습니다.
Google 검색 문서는 AI 기능 노출에 별도 파일이 필요 없다고 적습니다. llms.txt는 비용이 낮아 두는 파일이고, 효과는 약속하지 않습니다.
5. 상태 코드 점검
for ua in "OAI-SearchBot" "PerplexityBot" "Claude-SearchBot" "GPTBot" "Googlebot" "Yeti"; do
code=$(curl -s -o /dev/null -w "%{http_code}" -A "Mozilla/5.0 (compatible; $ua)" https://example.com/)
echo "$ua $code"
done모두 200 이면 통과입니다. 403·503 이 나오면 CDN·방화벽의 봇 차단 규칙을 확인합니다. robots.txt에서 허용해도 방화벽이 막으면 봇은 들어오지 못합니다.
6. 변경 기록과 반영 시간
바꾼 날짜와 내용을 기록합니다. OpenAI는 OAI-SearchBot 변경 반영에 약 24시간이 걸린다고 안내합니다. 다른 회사는 공개된 시간이 없습니다.
OSKIT 에서는
Site Engine 사이트는 위 기본값으로 robots.txt와 llms.txt를 자동으로 만들고, 고객사가 설정 화면에서 학습용 봇을 끄고 켭니다. 봇별 상태 코드 점검은 매주 자동으로 돌고, 결과는 Signal Engine 화면에 남습니다.
출처
- [1]Google Search Central — Introduction to robots.txthttps://developers.google.com/search/docs/crawling-indexing/robots/intro
- [2]OpenAI — Overview of OpenAI crawlershttps://developers.openai.com/api/docs/bots
- [3]Perplexity — Perplexity crawlershttps://docs.perplexity.ai/guides/bots
- [4]llmstxt.orghttps://llmstxt.org/
- [5]Google Search Central — AI features and your websitehttps://developers.google.com/search/docs/appearance/ai-features