블로그 · 크롤링·색인
llms.txt를 만들기 전에: 형식, 공식 입장, 측정할 수 있는 것
llmstxt.org 형식과 Google 검색 문서의 입장을 나란히 보고, 효과를 주장하지 않고 측정하는 방법을 정리했습니다.
- 작성
- OSKIT 팀 (어포메이션)
- 수정
- 3분 분량
이 글의 순서
요약
- llms.txt는 H1 사이트명 하나만 필수인 마크다운 파일입니다.
- Google 검색 문서는 AI 기능에 나오려고 별도 파일을 만들 필요가 없다고 적습니다.
- 만드는 비용이 낮아 생성하되, 보고는 AI 봇의 요청 횟수로만 합니다.
llms.txt 형식과 제안 주체
llms.txt는 사이트 루트 /llms.txt에 두는 마크다운 파일입니다. llmstxt.org가 제안한 형식으로, AI 모델이 사이트의 핵심 페이지를 한 번에 읽도록 안내합니다[1].
형식은 다섯 부분입니다.
- 01H1 사이트 이름 (유일한 필수 항목)
- 02인용문(
>) 한 단락 요약 - 03자유 본문(선택)
- 04H2 제목 아래 링크 목록:
- [이름](URL): 설명 - 05「Optional」 H2: 시간이 부족하면 건너뛰어도 되는 링크
# OSKIT
> 어포메이션이 운영하는 성장 엔진 서비스. 홈페이지 제작, 매일 블로그 발행, 검색·AI 노출 분석.
## 페이지
- [가격](https://oskit.afformation.co.kr/pricing): 제작비·월 구독·사용량
- [용어집](https://oskit.afformation.co.kr/wiki): 검색·AI 노출 용어 46개
## Optional
- [블로그](https://oskit.afformation.co.kr/blog)llmstxt.org는 수천 개 사이트가 이 파일을 게시했고, OpenAI·Anthropic·Google Gemini의 개발 문서 사이트도 게시한다고 적습니다[1]. 각 페이지의 마크다운 버전(page.md)을 함께 두고 rel="alternate" type="text/markdown" 링크를 거는 방식도 권장합니다.
Google 검색 문서의 입장
Google 검색 문서의 AI 기능 페이지는 다른 방향을 적습니다. AI Overviews·AI Mode에 나오려고 새로운 기계용 파일, AI 텍스트 파일, 특별한 마크업을 만들 필요는 없다는 내용입니다[2]. AI 기능은 일반 검색과 같은 색인을 쓰고 Googlebot 규칙을 따릅니다.
두 자료를 나란히 놓으면 결론은 이렇습니다.
| 항목 | 확인된 사실 |
|---|---|
| 형식 표준 | llmstxt.org 제안. W3C·IETF 표준 아님 |
| Google AI 기능 | 별도 파일 불필요(Google 문서) |
| 개발 문서 사이트 | OpenAI·Anthropic·Google Gemini 문서가 게시(llmstxt.org) |
| 노출 효과 | 이를 확인한 공식 측정 자료 없음 |
그래도 만드는 이유
만드는 비용이 거의 0 이기 때문입니다. 사이트 구조 데이터가 이미 있다면 빌드할 때 자동으로 생성할 수 있습니다. 페이지가 바뀌면 파일도 같이 바뀌어 관리 부담이 없습니다.
두 번째 이유는 사람에게도 쓸모가 있다는 점입니다. 사이트 전체 목록이 한 파일에 정리돼 있어, 사용자가 AI에 사이트를 설명할 때 이 파일 URL 하나만 주면 됩니다.
효과를 주장하지 않고 측정하는 방법
OSKIT은 영업 문구에서 「llms.txt로 AI 노출 상승」 같은 표현을 쓰지 않습니다. 근거가 없기 때문입니다. 대신 측정할 수 있는 숫자만 보고합니다.
- AI 봇의 llms.txt 요청 횟수: 서버 요청 로그에서 UA와 공개 IP 목록이 모두 맞는 요청만 셉니다[3].
- 요청한 봇 종류: 검색용(OAI-SearchBot 등)인지 학습용(GPTBot 등)인지 나눕니다.
- llms.txt에 적힌 URL의 이후 봇 방문: 파일에 있는 페이지와 없는 페이지의 봇 방문 빈도를 비교합니다.
세 번째 값은 상관관계일 뿐 원인을 증명하지 않습니다. 리포트에도 그렇게 적습니다.
만들 때 지킬 것
- 01링크는 정규 URL로 씁니다. 리다이렉트를 거치는 주소를 넣지 않습니다.
- 02설명은 그 페이지가 담은 사실을 적습니다. 꾸밈말만 있는 설명에는 AI가 인용할 사실이 없습니다.
- 03페이지가 추가·삭제되면 파일을 다시 만듭니다. 손으로 고치는 파일은 금방 낡습니다.
- 04비공개 경로(관리자, 고객 포털)는 넣지 않습니다. llms.txt는 접근을 막지 못합니다. 차단은 robots.txt와 인증으로 합니다.
- 05다국어 사이트는 언어별 섹션을 나누거나 언어별 파일을 둡니다.
OSKIT 에서는
Site Engine이 만드는 모든 사이트는 페이지 구조에서 llms.txt를 자동 생성합니다. Post Engine이 글을 발행하면 파일이 갱신됩니다. Signal Engine은 AI 봇의 요청 횟수를 날짜별로 보여 줍니다. 이 사이트의 llms.txt도 같은 방식으로 만들어집니다.
이 글이 답하는 질문
llms.txt가 있으면 AI 답변에 더 많이 나오나요?
이를 확인한 공식 자료는 없습니다. Google은 별도 파일이 필요 없다고 적습니다. 그래서 OSKIT은 효과를 약속하지 않고 요청 횟수만 보고합니다.
llms-full.txt도 만들어야 하나요?
필수는 아닙니다. 주요 페이지 본문을 합친 파일로, 문서형 사이트에서 주로 씁니다.
llms.txt와 robots.txt는 어떻게 다른가요?
robots.txt는 수집 허용 범위를 정하고, llms.txt는 읽을 만한 페이지 목록을 안내합니다. llms.txt는 접근을 막지 못합니다.
출처
- [1]llmstxt.org — The /llms.txt filehttps://llmstxt.org/
- [2]Google Search Central — AI features and your websitehttps://developers.google.com/search/docs/appearance/ai-features
- [3]OpenAI — Overview of OpenAI crawlershttps://developers.openai.com/api/docs/bots