Web Guidellms.txtAI 크롤러 차단GPTBotrobots.txt
llms.txt와 AI 크롤러 정책 설정하기
검색 로봇을 위한 안내문이 robots.txt라면, 생성형 AI를 위한 안내문이 llms.txt입니다.
아직 표준화 초기이지만 도입 비용이 거의 없고, AI가 사이트를 파악하는 방식에 맞춰 회사 정보를 정리해 두는 효과가 있습니다. 함께 결정해야 할 AI 크롤러 허용 정책도 정리했습니다.
검색 로봇용 · robots.txt
어디를 읽어도 되는지 허용·차단을 정합니다.
생성형 AI용 · llms.txt
무엇이 어디에 있는지 안내합니다.
차단은 robots.txt로, 안내는 llms.txt로 나눠 관리합니다.
01
llms.txt가
담는 것
사이트 루트에 두는 텍스트 파일로, 마크다운 형식으로 작성합니다. AI가 사이트 전체를 훑지 않고도 무엇이 어디에 있는지 알 수 있게 하는 안내 지도입니다.
회사 소개 한 문단주요 서비스 요약핵심 페이지 목록과 한 줄 설명연락처
더 상세한 llms-full.txt에 주요 콘텐츠 전문을 담기도 합니다.
02
AI 크롤러
허용 여부를 정한다
개별 설정이 가능한 AI 크롤러는 GPTBot(OpenAI), ClaudeBot(Anthropic), PerplexityBot, Google-Extended 등입니다.
허용
공개 서비스 정보 · AI 답변에 인용되길 원하는 영역
차단
회원 자료실 · 학습에 쓰이길 원치 않는 영역
둘 중 하나만 고를 필요는 없습니다. 영역별로 정합니다.
03
크롤러별
역할 차이
OpenAI
학습용과 검색 인용용 크롤러를 구분합니다.
구글
Google-Extended를 차단해도 일반 검색 색인에는 영향이 없습니다.
인용은 원하되 학습은 원치 않는다면 이 구분에 맞춰 설정합니다.
크롤러 이름과 정책은 바뀌므로 반기마다 확인합니다.
04
적용과 확인
llms.txt
텍스트 파일 하나를 서버에 올립니다.
robots.txt
기존 파일에 User-agent 항목을 추가합니다.
서버 접속 로그에서 AI 크롤러 방문을 확인합니다. 방문이 기록되면 설정이 작동하고 있다는 뜻입니다.
웹비스타 GEO 작업에는 두 파일의 작성과 정책 설정이 포함됩니다.
CHECK POINT
□ llms.txt에 회사 소개·서비스·핵심 페이지 목록을 작성했는가
□ 영역별 AI 크롤러 허용·차단 정책을 정했는가
□ 서버 로그에서 AI 크롤러 방문을 확인했는가
#llmstxt#AI크롤러#robotstxt#GPTBot#ClaudeBot#GoogleExtended#GEO#AI검색
관련 FAQ 탭 · 제작관련 가이드