크롤링 가능성
한 줄 정의
검색 엔진 크롤러가 사이트의 페이지에 얼마나 잘 접근하고 따라갈 수 있는지를 의미하며, 인덱싱의 전제 조건입니다.
자세히 알아보기
크롤링 가능성은 SEO의 가장 기초입니다. robots.txt에서 막혀 있거나, 내부 링크가 끊겨 있거나, 자바스크립트로만 렌더링돼 봇이 콘텐츠를 못 보는 경우 모두 크롤링 단계에서 막혀 인덱싱 자체가 안 됩니다.
점검할 때는 sitemap.xml 제출 여부, robots.txt 규칙, 내부 링크 구조, 렌더링 방식(SSR/CSR/하이브리드)을 함께 봅니다. Google Search Console의 '크롤링 통계' 리포트에서 봇이 실제로 어떤 페이지를 얼마나 자주 방문하는지 확인할 수 있습니다.
GEO 관점에서도 동일한 이슈가 적용됩니다. GPTBot·PerplexityBot·ClaudeBot이 우리 사이트를 못 읽으면 AI 답변의 인용 후보에서 누락됩니다. SEO 크롤링 정비가 GEO의 출발점인 이유입니다.
관련 용어
인덱싱(색인)
검색 엔진이 크롤링한 페이지를 자체 데이터베이스에 등록하는 단계로, 인덱싱이 안 되면 검색 결과에 아예 노출되지 않습니다.
SEOnoindex·nofollow
검색 엔진에 '이 페이지를 색인하지 마라(noindex)' 또는 '이 링크를 따라가지 마라(nofollow)'고 알리는 메타 태그입니다.
SEO구글 서치 콘솔(GSC)
사이트의 구글 검색 노출·클릭·인덱싱 상태를 확인하고 문제를 진단할 수 있는 구글 공식 무료 도구입니다.
GEO·AEOGPTBot
OpenAI가 ChatGPT 학습·검색용으로 운영하는 웹 크롤러로, robots.txt를 통해 접근을 허용하거나 차단할 수 있습니다.
GEO·AEOPerplexityBot
Perplexity가 답변 생성을 위해 운영하는 웹 크롤러로, robots.txt에서 별도로 제어할 수 있습니다.
SEO페이지네이션
긴 목록을 여러 페이지로 나눠 보여주는 처리 방식으로, 잘못 다루면 색인 분산·중복·고립 페이지 문제가 생기기 쉽습니다.