용어집 · AI 검색
AI 크롤러
AI 크롤러는 AI 회사가 검색 답변, 사용자 요청 처리, 모델 학습을 위해 웹페이지를 가져가는 봇이다.
- 작성
- OSKIT 팀 (어포메이션)
- 수정
정의
AI 크롤러는 AI 회사가 검색 답변, 사용자 요청 처리, 모델 학습을 위해 웹페이지를 가져가는 봇이다.
AI crawler
작동 방식과 맥락
용도별로 나뉜다. OpenAI는 OAI-SearchBot(검색), ChatGPT-User(사용자 요청), GPTBot(학습)을 쓰고, Perplexity는 PerplexityBot·Perplexity-User, Anthropic은 Claude-SearchBot·Claude-User·ClaudeBot을 쓴다.
User-Agent 문자열은 위조할 수 있다. OpenAI·Perplexity는 IP 목록 JSON을 공개하므로, 진짜 봇 방문은 UA와 IP를 함께 대조해 센다.
점검 항목
- 01봇별 허용·차단을 용도에 맞게 정했는지
- 02서버 로그에서 UA+IP로 방문을 세는지
- 03방화벽 봇 차단 규칙을 점검했는지
같이 보는 용어: robots.txt · Google-Extended · llms.txt · AI 유입
출처
- [1]OpenAI — Overview of OpenAI crawlershttps://developers.openai.com/api/docs/bots
- [2]Perplexity — Perplexity crawlershttps://docs.perplexity.ai/guides/bots