본문으로 건너뛰기

용어집 · AI 검색

AI 크롤러

AI 크롤러는 AI 회사가 검색 답변, 사용자 요청 처리, 모델 학습을 위해 웹페이지를 가져가는 봇이다.

작성
OSKIT 팀 (어포메이션)
수정
이 글의 순서
  1. 01정의
  2. 02작동 방식과 맥락
  3. 03점검 항목
  4. 04OSKIT에서 처리하는 곳

정의

AI 크롤러는 AI 회사가 검색 답변, 사용자 요청 처리, 모델 학습을 위해 웹페이지를 가져가는 봇이다.

AI crawler

작동 방식과 맥락

용도별로 나뉜다. OpenAI는 OAI-SearchBot(검색), ChatGPT-User(사용자 요청), GPTBot(학습)을 쓰고, Perplexity는 PerplexityBot·Perplexity-User, Anthropic은 Claude-SearchBot·Claude-User·ClaudeBot을 쓴다.

User-Agent 문자열은 위조할 수 있다. OpenAI·Perplexity는 IP 목록 JSON을 공개하므로, 진짜 봇 방문은 UA와 IP를 함께 대조해 센다.

점검 항목

  1. 01봇별 허용·차단을 용도에 맞게 정했는지
  2. 02서버 로그에서 UA+IP로 방문을 세는지
  3. 03방화벽 봇 차단 규칙을 점검했는지

OSKIT에서 처리하는 곳

Signal Engine

Signal Engine이 서버 요청 로그에서 UA와 공개 IP 목록을 대조해 AI 봇 방문을 집계합니다.

기능 보기

같이 보는 용어: robots.txt · Google-Extended · llms.txt · AI 유입

출처

  1. [1]OpenAI — Overview of OpenAI crawlershttps://developers.openai.com/api/docs/bots
  2. [2]Perplexity — Perplexity crawlershttps://docs.perplexity.ai/guides/bots

AI 채팅에서 요약 보기

페이지 주소만 넘깁니다.

무료 진단으로 검색·AI 답변 노출 상태를 확인합니다

홈페이지 주소를 넣으면 검색엔진·AI 봇 접근과 색인 상태를 바로 보여 드립니다.

3분 · 비용 없음 · 계약 의무 없음