Meta-ExternalAgent
한 줄 정의
메타가 자사 AI 모델 학습·운영에 사용하는 웹 크롤러 식별자로, robots.txt에서 별도 통제가 가능합니다.
자세히 알아보기
Meta-ExternalAgent는 메타가 자체 LLM(Llama 계열·Meta AI 어시스턴트)의 학습과 운영에 활용하는 크롤러입니다. 페이스북·인스타그램의 일반 봇과는 분리된 식별자로, 사이트 소유자가 robots.txt에서 별도로 허용·차단할 수 있습니다.
마케터 관점에서 메타 AI는 'WhatsApp·Instagram·Messenger 안에서 사용자에게 직접 답하는 어시스턴트'라는 점이 특이합니다. 즉, 메신저 안에서 사용자가 묻는 질문에 대한 답변 풀이 여기에 영향을 받습니다. 글로벌·소비재 카테고리에서는 무시하기 어려운 채널입니다.
정책 측면에서 메타 봇은 비교적 최근에 분리·문서화됐습니다. 한 번 정해둔 봇 정책이 오래 된 사이트라면, Meta-ExternalAgent를 포함해 신규 식별자가 robots.txt에 반영돼 있는지 점검해 두는 게 좋습니다.
관련 용어
GPTBot
OpenAI가 ChatGPT 학습·검색용으로 운영하는 웹 크롤러로, robots.txt를 통해 접근을 허용하거나 차단할 수 있습니다.
GEO·AEOClaudeBot
Anthropic이 Claude 학습·답변 생성을 위해 운영하는 웹 크롤러로, robots.txt를 통해 제어할 수 있습니다.
GEO·AEOGoogle-Extended
구글이 Gemini·Vertex AI 학습용으로 별도 분리해 둔 크롤러 식별자로, 일반 검색용 Googlebot과 따로 통제할 수 있습니다.
GEO·AEO바이트스파이더
ByteDance(틱톡 모회사)가 운영하는 웹 크롤러로, 자사 AI 모델·검색·추천 시스템 학습에 활용됩니다.
GEO·AEOllms.txt
사이트 루트에 두는 텍스트 파일로, LLM에게 '이 사이트의 핵심 콘텐츠가 어디에 있는지'를 안내하기 위해 제안된 비공식 규약입니다.
우리 브랜드는 AI 답변에 어떻게 등장하고 있을까요?
Villion은 ChatGPT·Perplexity·AI Overview에서 브랜드 인용 현황을 진단하고, 인용률과 언급 점유율을 끌어올리는 작업을 자동화합니다.
무료 진단 받기