용어집 · 검색 기술
크롤 예산
크롤 예산은 검색엔진이 한 사이트에서 일정 기간 동안 가져갈 수 있는 URL 수와 빈도의 한도다.
- 작성
- OSKIT 팀 (어포메이션)
- 수정
이 글의 순서
정의
크롤 예산은 검색엔진이 한 사이트에서 일정 기간 동안 가져갈 수 있는 URL 수와 빈도의 한도다.
Crawl budget
작동 방식과 맥락
Google 문서는 페이지 수가 수십만 개 이상이거나 자주 바뀌는 큰 사이트에서 주로 문제가 된다고 설명한다.
중복 URL, 끝없는 필터 조합, 리다이렉트 사슬, 느린 응답이 예산을 쓴다. 매일 글을 내는 사이트는 사이트맵 lastmod를 실제 수정일로 써야 새 글이 먼저 수집된다.
점검 항목
- 01리다이렉트가 한 번에 끝나는지
- 02파라미터 URL이 색인되지 않는지
- 03사이트맵 lastmod가 실제 수정일인지
같이 보는 용어: 사이트맵 (sitemap.xml) · robots.txt · 301 리다이렉트 · canonical (정규 URL)
출처
- [1]Google Search Central — Large site owner's guide to managing crawl budgethttps://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget