구글봇
한 줄 정의
구글이 검색 색인을 만들기 위해 운영하는 공식 웹 크롤러로, robots.txt와 User-Agent 규칙으로 접근을 통제합니다.
자세히 알아보기
Googlebot은 구글 검색 색인의 출발점이 되는 크롤러입니다. 모바일 우선 색인이 기본이 된 이후에는 'Googlebot Smartphone'이 메인 크롤러 역할을 하고, 데스크톱 봇은 보조로 쓰입니다.
실무에서는 두 가지를 자주 챙깁니다. robots.txt에서 의도와 다르게 차단된 경로가 없는지, 그리고 자바스크립트로 렌더되는 콘텐츠가 Googlebot에게 정상적으로 보이는지입니다. 후자는 GSC의 'URL 검사' 도구로 직접 확인하는 게 가장 빠릅니다.
Googlebot 외에도 구글은 Google-Extended·Googlebot-News·AdsBot 등 용도별로 분리된 크롤러를 함께 운영합니다. AI 학습 통제 등 특정 용도를 분리하려면 봇 식별자를 정확히 구분해 정책을 짜야 합니다.
출처
관련 용어
테크니컬 SEO
크롤링·색인·렌더링·속도·구조화 데이터처럼 페이지가 검색 엔진에 제대로 읽히도록 하는 인프라성 SEO 작업입니다.
GEO·AEOGoogle-Extended
구글이 Gemini·Vertex AI 학습용으로 별도 분리해 둔 크롤러 식별자로, 일반 검색용 Googlebot과 따로 통제할 수 있습니다.
SEOHTTPS
SSL/TLS로 암호화된 HTTP 통신 방식으로, 구글이 공식 랭킹 신호로 명시한 기본 보안 요건입니다.
GEO·AEOGPTBot
OpenAI가 ChatGPT 학습·검색용으로 운영하는 웹 크롤러로, robots.txt를 통해 접근을 허용하거나 차단할 수 있습니다.
SEOSchema.org
구글·MS·야후·Yandex가 공동 후원하는 구조화 데이터 표준 어휘로, 페이지의 의미를 기계가 이해하도록 표시할 때 씁니다.