Google-Extended

Google-Extended는 구글이 Gemini·Vertex AI 등 생성형 AI 제품의 학습·강화 단계에 사용하기 위해 별도로 분리해 둔 크롤러 식별자입니다. 일반 검색 색인용 Googlebot과는 다른 User-Agent로 동작합니다. 등장 배경은 명확합니다. 사이트 운영자가 '검색 색인은 허용하지만 AI 학습은 거부한다'는 식으로 두 결정을 분리할 수 있도록 하기 위함입니다. AI 학습에 대한 콘텐츠 권리 논쟁이 커지면서 구글이 자체적으로 도입한 절충안에 가깝습니다.

작동 원리는 robots.txt에서 'User-agent: Google-Extended' 규칙으로 별도 통제가 가능합니다. Allow/Disallow 디렉티브로 디렉토리 단위 제어가 가능하며, 차단 시 Gemini·Vertex AI 학습용 데이터 수집이 중단됩니다. 단, 검색 색인은 일반 Googlebot이 처리하므로 Google-Extended를 차단해도 검색 결과 노출은 유지됩니다. 이 분리가 Google-Extended의 가장 큰 가치입니다.

마케터 관점에서 두 가지 결정을 분리해 고민할 수 있다는 점이 핵심입니다. (1) 검색 노출은 그대로 유지하면서 AI 학습용 사용을 제한하고 싶다면 robots.txt에서 Google-Extended만 차단, (2) Gemini 답변에 인용되길 원한다면 허용. 한국 미디어·콘텐츠 사이트에서는 차단을 택하는 케이스도 있고, 브랜드·서비스 사이트는 허용이 일반적입니다. Villion은 자사 robots.txt에서 Google-Extended·GPTBot·ClaudeBot·PerplexityBot 정책의 일관성을 자동 점검합니다.

다른 LLM 봇과 비교하면 결이 다릅니다. GPTBot·ClaudeBot·PerplexityBot은 학습과 답변 검색에 모두 같은 봇이 쓰이는 경우가 많지만, Google-Extended는 학습 전용 분리 식별자라는 점이 독특합니다. 또 가장 중요한 차이는 'Google-Extended 차단이 AI Overview 노출을 막지는 않는다'는 사실입니다. AI Overview는 일반 검색 색인을 활용하므로, 학습 차단과 답변 노출 차단이 별개 레버라는 점을 반드시 인지해야 합니다.

흔한 오해 두 가지를 짚으면, 첫째는 'Google-Extended만 차단하면 모든 구글 AI 노출에서 빠진다'는 단순화입니다. AI Overview는 검색 색인 기반이라 그대로 노출됩니다. 둘째는 '한 번 허용/차단 결정이면 끝'이라는 인식인데, 구글이 새로운 AI 제품·봇을 추가하는 케이스가 있어 분기마다 정책 점검을 권장합니다. 또 Google-Extended는 검색 알고리즘 랭킹에 영향을 주지 않는다고 구글이 명시했지만, AI 답변 인용 풀에서 빠지는 효과는 분명합니다.

다음 단계 추천은 (1) Google-Extended 정책을 다른 LLM 봇과 한 보드에서 통합 결정, (2) AI 학습 차단을 원하는 경우에도 검색 색인 유지를 위해 Googlebot은 별도 허용, (3) AI Overview 노출은 별개 문제이니 검색 색인 SEO·구조화 데이터를 함께 정비, (4) 분기마다 구글 봇 목록 변동 점검. Google-Extended는 'AI 학습 동의/거부'를 명시적 신호로 보내는 사실상 유일한 레버라, 콘텐츠 정책 합의에서 가장 먼저 다뤄야 할 항목입니다.