크롤링 가능성
한 줄 정의
검색 엔진 크롤러가 사이트의 페이지에 얼마나 잘 접근하고 따라갈 수 있는지를 의미하며, 인덱싱의 전제 조건입니다.
자세히 알아보기
크롤링 가능성은 SEO의 가장 기초입니다. robots.txt에서 막혀 있거나, 내부 링크가 끊겨 있거나, 자바스크립트로만 렌더링돼 봇이 콘텐츠를 못 보는 경우 모두 크롤링 단계에서 막혀 인덱싱 자체가 안 됩니다.
점검할 때는 sitemap.xml 제출 여부, robots.txt 규칙, 내부 링크 구조, 렌더링 방식(SSR/CSR/하이브리드)을 함께 봅니다. Google Search Console의 '크롤링 통계' 리포트에서 봇이 실제로 어떤 페이지를 얼마나 자주 방문하는지 확인할 수 있습니다.
GEO 관점에서도 동일한 이슈가 적용됩니다. GPTBot·PerplexityBot·ClaudeBot이 우리 사이트를 못 읽으면 AI 답변의 인용 후보에서 누락됩니다. SEO 크롤링 정비가 GEO의 출발점인 이유입니다.
관련 용어
인덱싱(색인)
검색 엔진이 크롤링한 페이지를 자체 데이터베이스에 등록하는 단계로, 인덱싱이 안 되면 검색 결과에 아예 노출되지 않습니다.
SEOnoindex·nofollow
검색 엔진에 '이 페이지를 색인하지 마라(noindex)' 또는 '이 링크를 따라가지 마라(nofollow)'고 알리는 메타 태그입니다.
SEO구글 서치 콘솔(GSC)
사이트의 구글 검색 노출·클릭·인덱싱 상태를 확인하고 문제를 진단할 수 있는 구글 공식 무료 도구입니다.
GEO·AEOGPTBot
OpenAI가 ChatGPT 학습·검색용으로 운영하는 웹 크롤러로, robots.txt를 통해 접근을 허용하거나 차단할 수 있습니다.
GEO·AEOPerplexityBot
Perplexity가 답변 생성을 위해 운영하는 웹 크롤러로, robots.txt에서 별도로 제어할 수 있습니다.
SEO페이지네이션
긴 목록을 여러 페이지로 나눠 보여주는 처리 방식으로, 잘못 다루면 색인 분산·중복·고립 페이지 문제가 생기기 쉽습니다.
우리 브랜드는 AI 답변에 어떻게 등장하고 있을까요?
Villion은 ChatGPT·Perplexity·AI Overview에서 브랜드 인용 현황을 진단하고, 인용률과 언급 점유율을 끌어올리는 작업을 자동화합니다.
무료 진단 받기