크롤링
한 줄 정의
검색 엔진 봇이 웹페이지를 따라다니며 콘텐츠를 읽어오는 동작 자체로, 색인(indexing)으로 가기 전 단계입니다.
자세히 알아보기
크롤링은 봇이 한 URL에서 출발해 링크를 타고 다음 페이지로 넘어가며 HTML을 받아오는 단계입니다. 색인(indexing)이나 랭킹은 그다음 일이라, 크롤이 안 되면 그 뒤 단계는 시작도 못 합니다.
현장에선 '왜 이 페이지가 안 잡히지?'라는 질문의 절반 이상이 크롤링 단계에서 끊긴 경우입니다. robots.txt 차단, 무한 파라미터 URL, 5xx 응답, 자바스크립트 렌더 실패 같은 평범한 문제들이 대부분이고, 로그 파일을 한 번만 들여다봐도 원인이 금방 보입니다.
GEO 관점에서도 크롤링 원리는 그대로 적용됩니다. GPTBot·PerplexityBot·ClaudeBot 같은 AI 크롤러도 결국 같은 HTTP 요청을 보내는 봇이라, 검색 봇이 크롤 못하는 페이지는 AI 답변에서도 인용되기 어렵습니다.
관련 용어
크롤링 가능성
검색 엔진 크롤러가 사이트의 페이지에 얼마나 잘 접근하고 따라갈 수 있는지를 의미하며, 인덱싱의 전제 조건입니다.
SEO크롤 버짓
검색 엔진이 일정 기간 동안 한 사이트를 크롤링하는 데 할당하는 자원의 총량으로, 대형 사이트의 색인 효율을 좌우합니다.
SEO인덱싱(색인)
검색 엔진이 크롤링한 페이지를 자체 데이터베이스에 등록하는 단계로, 인덱싱이 안 되면 검색 결과에 아예 노출되지 않습니다.
SEOrobots.txt
사이트 루트에 두는 텍스트 파일로, 검색 엔진과 AI 크롤러에게 어떤 경로를 크롤링해도 되는지 알려주는 표준 규약입니다.
SEO로그 파일 분석
서버 액세스 로그를 직접 들여다보며 검색·AI 봇이 우리 사이트를 어떻게 크롤하는지 정량적으로 파악하는 진단 기법입니다.
우리 브랜드는 AI 답변에 어떻게 등장하고 있을까요?
Villion은 ChatGPT·Perplexity·AI Overview에서 브랜드 인용 현황을 진단하고, 인용률과 언급 점유율을 끌어올리는 작업을 자동화합니다.
무료 진단 받기