리서치 · 조사 노트
AI 엔진별 인용 출처 구조: 어디서 근거를 가져오고 어떻게 표시하나
ChatGPT 검색·Gemini·AI Overviews·Perplexity·Claude·Copilot·네이버 AI 브리핑이 근거를 가져오는 크롤러·색인·인용 필드를 공식 문서 기준으로 비교한 조사 노트.
- 작성
- OSKIT 팀 (어포메이션)
- 수정
- 5분 분량
이 글의 순서
요약
- 엔진마다 근거를 가져오는 크롤러와 색인이 다릅니다. 한 엔진에 보이는 것이 다른 엔진에도 보인다는 보장은 없습니다.
- Google AI 기능은 Googlebot 색인, Copilot은 Bing 색인, ChatGPT·Perplexity·Claude는 각 사 검색 봇 색인을 씁니다.
- 네이버 AI 브리핑은 공식 자료가 적고, 2차 자료는 출처 다수가 네이버 내부 문서라고 분석합니다.
조사 범위와 방법
2026년 11월 18일 기준으로 각 회사의 공식 문서를 직접 열어 확인한 내용을 「공식 확인」, 기사·블로그로만 확인한 내용을 「2차 자료」로 나눠 적습니다. 대상은 ChatGPT 검색, Gemini, Google AI Overviews·AI Mode, Perplexity, Claude, Microsoft Copilot, 네이버 AI 브리핑 7개입니다.
이 노트가 답하려는 질문은 하나입니다. 각 AI 엔진은 어떤 경로로 웹페이지를 가져오고, 답변에 근거를 어떻게 표시하는가. 이 경로가 다르면 한 엔진에서 인용되는 페이지가 다른 엔진에서는 보이지 않을 수 있습니다.
엔진별 비교표
| 엔진 | 근거 수집 경로 | 관련 크롤러 | 인용 표시(API 필드) | 확인 수준 |
|---|---|---|---|---|
| ChatGPT 검색 | OpenAI 검색 색인 + 실시간 방문 | OAI-SearchBot, ChatGPT-User | url_citation 주석 | 공식 확인[1] |
| Perplexity | Perplexity 검색 색인 + 실시간 방문 | PerplexityBot, Perplexity-User | search_results, 본문 [web:n] | 공식 확인[2] |
| Claude | Claude 검색 색인 + 실시간 방문 | Claude-SearchBot, Claude-User | web_search_result_location | 2차 자료(봇)[3] |
| Google AI Overviews·AI Mode | Google 검색 색인 | Googlebot | 화면 출처 링크, 서치 콘솔 노출수 | 공식 확인[4] |
| Gemini(API 그라운딩) | Google 검색 | Googlebot(색인), Google-Extended(사용 제어) | url_citation 주석 | 공식 확인[4] |
| Microsoft Copilot | Bing 색인 | Bingbot | 빙 웹마스터 AI Performance 보고서 | 2차 자료[5] |
| 네이버 AI 브리핑 | 네이버 검색(내부 문서 비중 높음) | Yeti | 화면 출처 표시, API 없음 | 2차 자료[6] |
발견 1: 색인이 네 갈래로 나뉩니다
근거 수집 경로를 묶으면 네 갈래입니다.
- 01Google 색인: AI Overviews, AI Mode, Gemini 그라운딩. Googlebot이 수집한 페이지가 후보입니다. Google은 AI 기능에 별도 파일이나 마크업이 필요 없다고 적습니다[4].
- 02Bing 색인: Copilot. Bing 색인에 들어가야 후보가 됩니다. IndexNow로 Bing에 새 URL을 바로 알릴 수 있습니다[7].
- 03AI 회사 자체 색인: ChatGPT 검색, Perplexity, Claude. 각 사 검색 봇(OAI-SearchBot, PerplexityBot, Claude-SearchBot)이 수집합니다. robots.txt에서 이 봇을 막으면 해당 엔진 답변에서 빠질 수 있습니다[1][2].
- 04네이버 색인: 네이버 AI 브리핑. 2차 자료는 출처 다수가 네이버 블로그 등 네이버 내부 문서라고 분석합니다[6].
실무 결론은 간단합니다. 한 경로만 관리하면 나머지 경로의 엔진에서는 보이지 않을 수 있습니다. 네 경로 모두 수집 허용·색인 확인을 따로 해야 합니다.
발견 2: 학습용 봇과 검색용 봇은 별개입니다
OpenAI는 GPTBot(학습)과 OAI-SearchBot(검색)을 분리하고, Anthropic은 ClaudeBot(학습)과 Claude-SearchBot(검색)을 분리합니다[1][3]. Google은 Google-Extended 토큰을 막아도 검색과 AI Overviews 노출에 영향이 없다고 적습니다[4]. 학습 데이터 제공 여부와 검색 답변 노출 여부를 따로 정할 수 있다는 뜻입니다.
발견 3: 사용자 요청 봇은 robots.txt를 따르지 않을 수 있습니다
ChatGPT-User와 Perplexity-User는 사용자가 질문할 때 실시간으로 방문합니다. OpenAI는 이 봇에 robots.txt가 적용되지 않을 수 있다고 하고, Perplexity는 Perplexity-User가 대체로 robots.txt를 무시한다고 적습니다[1][2]. 공개하고 싶지 않은 페이지는 robots.txt가 아닌 인증으로 막아야 합니다.
발견 4: 인용 측정 수단이 엔진마다 다릅니다
| 수단 | 해당 엔진 | 형태 |
|---|---|---|
| API 응답 인용 필드 | ChatGPT 검색, Gemini, Perplexity, Claude | 자동 수집 가능 |
| 플랫폼 보고서 | Copilot(빙), AI Overviews·AI Mode(서치 콘솔) | 노출·인용 수, API 미확인 |
| 수동 표본 | 네이버 AI 브리핑 | 화면 확인 |
따라서 「AI 인용률」을 하나의 숫자로 합치면 서로 다른 수단의 숫자를 섞게 됩니다. OSKIT 리포트는 엔진별로 따로 보여 주고, 종합 점수에는 API 측정 4개 엔진만 넣습니다.
확인하지 못한 것
- Bing 웹마스터 AI Performance 보고서의 API 제공 여부
- 서치 콘솔 생성형 AI 보고서의 API 제공 시점
- 네이버 서치어드바이저 공개 API, AI 브리핑 공식 적용 비율
- Claude 봇 3종의 IP 목록 공개 여부
이 항목은 확인되는 대로 이 노트를 수정하고 수정 이력에 날짜를 남깁니다.
사이트 운영자를 위한 점검 순서
- 01robots.txt에서 Googlebot, Bingbot, OAI-SearchBot, PerplexityBot, Claude-SearchBot, Yeti가 허용돼 있는지 확인합니다.
- 02서치 콘솔·빙 웹마스터·네이버 서치어드바이저에 사이트맵을 제출합니다.
- 03IndexNow로 Bing·네이버에 새 URL을 알립니다.
- 04국내 고객이 있다면 네이버 블로그를 별도 경로로 운영합니다.
- 05엔진별 인용은 엔진별로 따로 기록합니다.
출처
- [1]OpenAI — Overview of OpenAI crawlershttps://developers.openai.com/api/docs/bots
- [2]Perplexity — Perplexity crawlershttps://docs.perplexity.ai/guides/bots
- [3]Anthropic — Does Anthropic crawl data from the webhttps://support.claude.com/en/articles/8896518
- [4]Google Search Central — AI features and your websitehttps://developers.google.com/search/docs/appearance/ai-features
- [5]Search Influence — Bing AI Performance report and Copilot citationshttps://www.searchinfluence.com/blog/bing-ai-performance-report-copilot-citations/
- [6]1point — 네이버 SEO AI 브리핑 3단계https://1point.kr/blog/insights/naver-seo-ai-briefing-3-steps/
- [7]IndexNow — searchengines.jsonhttps://www.indexnow.org/searchengines.json
수정 이력
- 첫 공개 (2026-11-18 공식 문서 확인 기준)