Web GuideAI 크롤러수집 규칙robots.txt
수집 규칙 파일의 AI 크롤러 설정
AI 수집기도 수집 규칙을 따릅니다.
허용과 차단을 우리가 정할 수 있습니다.
01기본 구조
수집기별로 규칙을 지정할 수 있습니다.
01
수집기 지정
이름을 적어 대상을 특정합니다.
02
허용과 차단
경로별로 지정합니다.
03
전체 적용
모든 수집기에 적용되는 규칙.
04
개별 우선
특정 수집기 규칙이 우선됩니다.
05
선택적 차단
일부 경로만 막을 수 있습니다.
06
예의 의존
규칙을 따르는 수집기만 적용됩니다.
02구분해 생각하기
AI 수집기도 용도가 다릅니다.
학습용 수집
모델 학습에 쓰기 위한 수집 · 차단해도 검색에는 영향 없음 · 콘텐츠 보호 관점
검색용 수집
답변 시 실시간 참고 · 차단하면 AI 답변에서 빠짐 · 노출 기회 상실
03설정 시 주의
잘못 설정하면 검색 노출까지 막힙니다.
검색 수집기 확인일반 검색 수집기를 막지 않았는지.
이름 정확히수집기 이름을 정확히 적습니다.
전체 차단 주의모든 수집기 차단은 위험합니다.
경로 지정필요한 영역만 막습니다.
검증설정 후 도구로 확인합니다.
기록왜 막았는지 남깁니다.
04한계 인식
이 파일로 할 수 없는 일이 있습니다.
점검 항목
강제력 없음
무시하는 수집기도 있습니다.
이미 학습된 것
과거에 수집된 내용은 지울 수 없습니다.
보안 아님
비공개 보장이 되지 않습니다.
우회 가능
마음먹으면 우회할 수 있습니다.
확실한 보호
로그인 뒤로 옮기는 것이 확실합니다.
의사 표시
차단 의사를 명확히 하는 의미는 있습니다.
CHECK POINT
□ 현재 수집 규칙 파일 내용을 확인했는가
□ 일반 검색 수집기를 막지 않았는가
□ AI 수집기 허용 여부를 결정했는가
□ 학습용과 검색용을 구분해 판단했는가
□ 수집기 이름을 정확히 적었는가
□ 설정 후 검증했는가
□ 보호가 필요한 내용은 로그인 뒤에 두었는가
□ 결정 이유를 기록했는가
#AI 크롤러#수집 규칙#robots.txt#콘텐츠 보호#AI 검색#차단 정책#한계#AEO#웹비스타#홈페이지 제작