본문으로 건너뛰기

리서치 · 조사 노트

AI 엔진별 인용 출처 구조: 어디서 근거를 가져오고 어떻게 표시하나

ChatGPT 검색·Gemini·AI Overviews·Perplexity·Claude·Copilot·네이버 AI 브리핑이 근거를 가져오는 크롤러·색인·인용 필드를 공식 문서 기준으로 비교한 조사 노트.

작성
OSKIT 팀 (어포메이션)
수정
5분 분량
이 글의 순서
  1. 01조사 범위와 방법
  2. 02엔진별 비교표
  3. 03발견 1: 색인이 네 갈래로 나뉩니다
  4. 04발견 2: 학습용 봇과 검색용 봇은 별개입니다
  5. 05발견 3: 사용자 요청 봇은 robots.txt를 따르지 않을 수 있습니다
  6. 06발견 4: 인용 측정 수단이 엔진마다 다릅니다
  7. 07확인하지 못한 것
  8. 08사이트 운영자를 위한 점검 순서

요약

  • 엔진마다 근거를 가져오는 크롤러와 색인이 다릅니다. 한 엔진에 보이는 것이 다른 엔진에도 보인다는 보장은 없습니다.
  • Google AI 기능은 Googlebot 색인, Copilot은 Bing 색인, ChatGPT·Perplexity·Claude는 각 사 검색 봇 색인을 씁니다.
  • 네이버 AI 브리핑은 공식 자료가 적고, 2차 자료는 출처 다수가 네이버 내부 문서라고 분석합니다.

조사 범위와 방법

2026년 11월 18일 기준으로 각 회사의 공식 문서를 직접 열어 확인한 내용을 「공식 확인」, 기사·블로그로만 확인한 내용을 「2차 자료」로 나눠 적습니다. 대상은 ChatGPT 검색, Gemini, Google AI Overviews·AI Mode, Perplexity, Claude, Microsoft Copilot, 네이버 AI 브리핑 7개입니다.

이 노트가 답하려는 질문은 하나입니다. 각 AI 엔진은 어떤 경로로 웹페이지를 가져오고, 답변에 근거를 어떻게 표시하는가. 이 경로가 다르면 한 엔진에서 인용되는 페이지가 다른 엔진에서는 보이지 않을 수 있습니다.

엔진별 비교표

엔진근거 수집 경로관련 크롤러인용 표시(API 필드)확인 수준
ChatGPT 검색OpenAI 검색 색인 + 실시간 방문OAI-SearchBot, ChatGPT-Userurl_citation 주석공식 확인[1]
PerplexityPerplexity 검색 색인 + 실시간 방문PerplexityBot, Perplexity-Usersearch_results, 본문 [web:n]공식 확인[2]
ClaudeClaude 검색 색인 + 실시간 방문Claude-SearchBot, Claude-Userweb_search_result_location2차 자료(봇)[3]
Google AI Overviews·AI ModeGoogle 검색 색인Googlebot화면 출처 링크, 서치 콘솔 노출수공식 확인[4]
Gemini(API 그라운딩)Google 검색Googlebot(색인), Google-Extended(사용 제어)url_citation 주석공식 확인[4]
Microsoft CopilotBing 색인Bingbot빙 웹마스터 AI Performance 보고서2차 자료[5]
네이버 AI 브리핑네이버 검색(내부 문서 비중 높음)Yeti화면 출처 표시, API 없음2차 자료[6]

발견 1: 색인이 네 갈래로 나뉩니다

근거 수집 경로를 묶으면 네 갈래입니다.

  1. 01Google 색인: AI Overviews, AI Mode, Gemini 그라운딩. Googlebot이 수집한 페이지가 후보입니다. Google은 AI 기능에 별도 파일이나 마크업이 필요 없다고 적습니다[4].
  2. 02Bing 색인: Copilot. Bing 색인에 들어가야 후보가 됩니다. IndexNow로 Bing에 새 URL을 바로 알릴 수 있습니다[7].
  3. 03AI 회사 자체 색인: ChatGPT 검색, Perplexity, Claude. 각 사 검색 봇(OAI-SearchBot, PerplexityBot, Claude-SearchBot)이 수집합니다. robots.txt에서 이 봇을 막으면 해당 엔진 답변에서 빠질 수 있습니다[1][2].
  4. 04네이버 색인: 네이버 AI 브리핑. 2차 자료는 출처 다수가 네이버 블로그 등 네이버 내부 문서라고 분석합니다[6].

실무 결론은 간단합니다. 한 경로만 관리하면 나머지 경로의 엔진에서는 보이지 않을 수 있습니다. 네 경로 모두 수집 허용·색인 확인을 따로 해야 합니다.

발견 2: 학습용 봇과 검색용 봇은 별개입니다

OpenAI는 GPTBot(학습)과 OAI-SearchBot(검색)을 분리하고, Anthropic은 ClaudeBot(학습)과 Claude-SearchBot(검색)을 분리합니다[1][3]. Google은 Google-Extended 토큰을 막아도 검색과 AI Overviews 노출에 영향이 없다고 적습니다[4]. 학습 데이터 제공 여부와 검색 답변 노출 여부를 따로 정할 수 있다는 뜻입니다.

발견 3: 사용자 요청 봇은 robots.txt를 따르지 않을 수 있습니다

ChatGPT-User와 Perplexity-User는 사용자가 질문할 때 실시간으로 방문합니다. OpenAI는 이 봇에 robots.txt가 적용되지 않을 수 있다고 하고, Perplexity는 Perplexity-User가 대체로 robots.txt를 무시한다고 적습니다[1][2]. 공개하고 싶지 않은 페이지는 robots.txt가 아닌 인증으로 막아야 합니다.

발견 4: 인용 측정 수단이 엔진마다 다릅니다

수단해당 엔진형태
API 응답 인용 필드ChatGPT 검색, Gemini, Perplexity, Claude자동 수집 가능
플랫폼 보고서Copilot(빙), AI Overviews·AI Mode(서치 콘솔)노출·인용 수, API 미확인
수동 표본네이버 AI 브리핑화면 확인

따라서 「AI 인용률」을 하나의 숫자로 합치면 서로 다른 수단의 숫자를 섞게 됩니다. OSKIT 리포트는 엔진별로 따로 보여 주고, 종합 점수에는 API 측정 4개 엔진만 넣습니다.

확인하지 못한 것

  • Bing 웹마스터 AI Performance 보고서의 API 제공 여부
  • 서치 콘솔 생성형 AI 보고서의 API 제공 시점
  • 네이버 서치어드바이저 공개 API, AI 브리핑 공식 적용 비율
  • Claude 봇 3종의 IP 목록 공개 여부

이 항목은 확인되는 대로 이 노트를 수정하고 수정 이력에 날짜를 남깁니다.

사이트 운영자를 위한 점검 순서

  1. 01robots.txt에서 Googlebot, Bingbot, OAI-SearchBot, PerplexityBot, Claude-SearchBot, Yeti가 허용돼 있는지 확인합니다.
  2. 02서치 콘솔·빙 웹마스터·네이버 서치어드바이저에 사이트맵을 제출합니다.
  3. 03IndexNow로 Bing·네이버에 새 URL을 알립니다.
  4. 04국내 고객이 있다면 네이버 블로그를 별도 경로로 운영합니다.
  5. 05엔진별 인용은 엔진별로 따로 기록합니다.

출처

  1. [1]OpenAI — Overview of OpenAI crawlershttps://developers.openai.com/api/docs/bots
  2. [2]Perplexity — Perplexity crawlershttps://docs.perplexity.ai/guides/bots
  3. [3]Anthropic — Does Anthropic crawl data from the webhttps://support.claude.com/en/articles/8896518
  4. [4]Google Search Central — AI features and your websitehttps://developers.google.com/search/docs/appearance/ai-features
  5. [5]Search Influence — Bing AI Performance report and Copilot citationshttps://www.searchinfluence.com/blog/bing-ai-performance-report-copilot-citations/
  6. [6]1point — 네이버 SEO AI 브리핑 3단계https://1point.kr/blog/insights/naver-seo-ai-briefing-3-steps/
  7. [7]IndexNow — searchengines.jsonhttps://www.indexnow.org/searchengines.json

수정 이력

  • 첫 공개 (2026-11-18 공식 문서 확인 기준)

AI 채팅에서 요약 보기

페이지 주소만 넘깁니다.

무료 진단으로 검색·AI 답변 노출 상태를 확인합니다

홈페이지 주소를 넣으면 검색엔진·AI 봇 접근과 색인 상태를 바로 보여 드립니다.

3분 · 비용 없음 · 계약 의무 없음