크롤링 예산 이해하기

필터 조합

정렬과 조건이 붙은 무한한 주소.

검색 결과 페이지

사이트 내 검색 결과 주소.

중복 주소

같은 내용의 여러 변형.

오류 페이지

깨진 링크를 계속 방문합니다.

연쇄 연결

여러 번 거치는 리다이렉트.

빈 목록

내용이 없는 분류 페이지.

필터와 검색 결과를 수집에서 뺍니다.

대표 주소를 명확히 지정합니다.

깨진 링크를 고치거나 연결합니다.

여러 번 거치지 않게 정리합니다.

응답이 빠르면 더 많이 수집합니다.

중요한 페이지만 담습니다.

중요 페이지로 링크가 모이게 합니다.

신경 쓸 필요 없음

페이지가 수백 개 이하 · 구조가 단순 · 색인이 잘 되고 있음 · 다른 기본에 집중

관리가 필요함

페이지 수만 개 이상 · 상품이 많은 쇼핑몰 · 색인 누락이 많음 · 필터 조합이 많은 구조