Web Guiderobots.txt수집 규칙크롤링 제어
수집 규칙 파일 작성과 흔한 실수
한 줄 잘못 쓰면 사이트 전체가 검색에서 사라집니다.
가장 단순한 파일이지만 가장 큰 사고를 만듭니다.
01무엇을 하는 파일인가
검색엔진에게 어디를 수집해도 되는지 알려주는 안내문입니다.
01
위치 고정
사이트 최상위에 있어야 합니다.
02
수집 허용과 차단
경로별로 지정할 수 있습니다.
03
수집기별 지정
검색엔진마다 다르게 정할 수 있습니다.
04
사이트맵 안내
사이트맵 위치를 알려줍니다.
05
강제력 없음
예의 있는 수집기만 따릅니다.
06
공개 파일
누구나 볼 수 있습니다.
02최악의 실수
실제로 자주 일어나는 사고입니다.
전체 차단 방치
개발 중 막아둔 설정을 공개 후에도 그대로.
중요 경로 차단
상품이나 글 목록을 막아버림.
스타일 파일 차단
화면을 제대로 못 읽게 됩니다.
오타
한 글자 차이로 의미가 달라집니다.
파일 없음
없어도 되지만 있는 편이 낫습니다.
위치 오류
하위 폴더에 두면 인식되지 않습니다.
03오해 바로잡기
이 파일로 할 수 없는 일이 있습니다.
할 수 있는 것
수집 요청을 줄임 · 서버 부담 완화 · 특정 경로 수집 자제 요청 · 사이트맵 안내
할 수 없는 것
이미 색인된 것 제거 · 보안 · 비공개 보장 · 악성 수집기 차단 · 색인 자체 금지
04안전한 운영
수정할 때는 반드시 확인이 필요합니다.
공개 전 점검오픈 시 차단 설정이 남아 있는지 확인합니다.
검사 도구검색 도구의 검사 기능으로 확인합니다.
변경 기록누가 언제 바꿨는지 남깁니다.
권한 제한아무나 수정하지 못하게 합니다.
비공개는 다른 수단숨길 것은 비밀번호로 막습니다.
정기 확인개편 후 반드시 다시 봅니다.
CHECK POINT
□ 파일이 사이트 최상위에 있는가
□ 전체 차단 설정이 남아 있지 않은가
□ 중요 경로가 막혀 있지 않은가
□ 스타일과 스크립트가 차단되지 않았는가
□ 사이트맵 위치를 안내하는가
□ 검사 도구로 확인했는가
□ 비공개 내용을 이 파일로만 막고 있지 않은가
□ 개편 후 다시 점검했는가
#robots.txt#수집 규칙#크롤링 제어#색인#오픈 점검#기술 SEO#사이트맵#SEO#웹비스타#홈페이지 제작