ClaudeBot
한 줄 정의
Anthropic이 Claude 학습·답변 생성을 위해 운영하는 웹 크롤러로, robots.txt를 통해 제어할 수 있습니다.
자세히 알아보기
ClaudeBot은 Anthropic이 운영하는 크롤러입니다. Claude의 학습 데이터 수집 및 답변에 활용되는 웹 정보를 가져옵니다. robots.txt에서 'ClaudeBot' User-Agent로 명시적으로 제어할 수 있습니다.
Claude는 일반 챗봇뿐 아니라 기업 내부 AI 어시스턴트, 개발 도구 같은 다양한 곳에 임베드되고 있습니다. 그래서 Claude의 인용 풀에 들어 있느냐는 단순 챗봇 노출 이상의 의미가 있습니다.
Anthropic은 봇 정책을 비교적 투명하게 공개하는 편입니다. 현재 공식 문서가 명시하는 식별자는 ClaudeBot, Claude-User, Claude-SearchBot 세 가지로 정리돼 있고, 각각 학습·실시간 사용자 응답·검색 인덱싱 용도가 다릅니다. 한 번 문서를 읽고 세 봇에 일관된 정책을 적용해 두는 걸 권장합니다.
출처
관련 용어
GPTBot
OpenAI가 ChatGPT 학습·검색용으로 운영하는 웹 크롤러로, robots.txt를 통해 접근을 허용하거나 차단할 수 있습니다.
GEO·AEOPerplexityBot
Perplexity가 답변 생성을 위해 운영하는 웹 크롤러로, robots.txt에서 별도로 제어할 수 있습니다.
GEO·AEOGoogle-Extended
구글이 Gemini·Vertex AI 학습용으로 별도 분리해 둔 크롤러 식별자로, 일반 검색용 Googlebot과 따로 통제할 수 있습니다.
GEO·AEOllms.txt
사이트 루트에 두는 텍스트 파일로, LLM에게 '이 사이트의 핵심 콘텐츠가 어디에 있는지'를 안내하기 위해 제안된 비공식 규약입니다.
GEO·AEOGEO
ChatGPT·Perplexity 같은 생성형 AI 검색에서 브랜드가 인용되고 추천되도록 콘텐츠와 데이터를 최적화하는 작업입니다.
우리 브랜드는 AI 답변에 어떻게 등장하고 있을까요?
Villion은 ChatGPT·Perplexity·AI Overview에서 브랜드 인용 현황을 진단하고, 인용률과 언급 점유율을 끌어올리는 작업을 자동화합니다.
무료 진단 받기