AI 크롤러

AI Crawler는 LLM 학습이나 AI 검색 답변 생성을 위해 운영되는 크롤러를 한 단어로 묶은 표현입니다. GPTBot·ClaudeBot·PerplexityBot·Google-Extended·CCBot처럼 개별 봇이 많아지다 보니, 정책 문서나 마케팅 자료에서 묶어 부를 단어가 필요해서 자연스럽게 자리잡았습니다.

마케터 입장에서 'AI Crawler 정책'이라고 할 때의 핵심 결정은 두 가지입니다. (1) 우리 콘텐츠가 LLM 학습 데이터에 들어가도 되는가, (2) AI 검색 답변에 인용되길 원하는가. 두 결정이 서로 달라질 수 있어서, 봇 단위로 다르게 세팅하는 사이트가 많아지고 있습니다.

AI Crawler 풀이 빠르게 늘어나는 만큼, 한 번 robots.txt를 정해 두고 방치하면 새로 등장한 봇이 누락될 가능성이 큽니다. 정기적으로 봇 목록을 갱신하고, 정책 의도(학습 차단/답변 노출 허용 등)에 맞춰 일관되게 관리하는 게 일반적인 운영 방식입니다.