본문으로 건너뛰기

용어집 · 검색 기술

크롤 예산

크롤 예산은 검색엔진이 한 사이트에서 일정 기간 동안 가져갈 수 있는 URL 수와 빈도의 한도다.

작성
OSKIT 팀 (어포메이션)
수정
이 글의 순서
  1. 01정의
  2. 02작동 방식과 맥락
  3. 03점검 항목

정의

크롤 예산은 검색엔진이 한 사이트에서 일정 기간 동안 가져갈 수 있는 URL 수와 빈도의 한도다.

Crawl budget

작동 방식과 맥락

Google 문서는 페이지 수가 수십만 개 이상이거나 자주 바뀌는 큰 사이트에서 주로 문제가 된다고 설명한다.

중복 URL, 끝없는 필터 조합, 리다이렉트 사슬, 느린 응답이 예산을 쓴다. 매일 글을 내는 사이트는 사이트맵 lastmod를 실제 수정일로 써야 새 글이 먼저 수집된다.

점검 항목

  1. 01리다이렉트가 한 번에 끝나는지
  2. 02파라미터 URL이 색인되지 않는지
  3. 03사이트맵 lastmod가 실제 수정일인지

같이 보는 용어: 사이트맵 (sitemap.xml) · robots.txt · 301 리다이렉트 · canonical (정규 URL)

출처

  1. [1]Google Search Central — Large site owner's guide to managing crawl budgethttps://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget

AI 채팅에서 요약 보기

페이지 주소만 넘깁니다.

무료 진단으로 검색·AI 답변 노출 상태를 확인합니다

홈페이지 주소를 넣으면 검색엔진·AI 봇 접근과 색인 상태를 바로 보여 드립니다.

3분 · 비용 없음 · 계약 의무 없음