크롤 버짓
한 줄 정의
검색 엔진이 일정 기간 동안 한 사이트를 크롤링하는 데 할당하는 자원의 총량으로, 대형 사이트의 색인 효율을 좌우합니다.
자세히 알아보기
크롤 버짓은 보통 두 요인의 곱으로 결정됩니다. 사이트의 응답 속도·안정성에 따른 'crawl rate limit'과, 콘텐츠의 가치에 따른 'crawl demand'입니다. 빠르고 신선한 콘텐츠가 많은 사이트는 자연스럽게 더 큰 버짓을 받습니다.
수천 페이지 규모의 사이트는 크롤 버짓을 의식하지 않아도 됩니다. 문제는 수십만 페이지 이상의 이커머스·미디어·UGC 사이트입니다. 파라미터 URL, 페이지네이션, 무한 필터 조합으로 크롤 버짓이 새는 경우가 흔합니다.
최적화의 정석은 '낭비를 막고 가치 있는 곳으로 흘리기'입니다. robots.txt로 무한 파라미터를 차단하고, 캐노니컬·사이트맵·내부 링크를 정렬해 핵심 페이지에 크롤이 집중되도록 만듭니다. CWV 개선도 응답 속도를 통해 간접적으로 버짓을 늘려줍니다.
출처
관련 용어
robots.txt
사이트 루트에 두는 텍스트 파일로, 검색 엔진과 AI 크롤러에게 어떤 경로를 크롤링해도 되는지 알려주는 표준 규약입니다.
SEO사이트맵
사이트의 주요 URL을 검색 엔진이 효율적으로 발견·크롤링하도록 정리해 둔 XML 파일로, 대형 사이트일수록 효과가 큽니다.
SEO캐노니컬 태그
여러 URL이 같거나 거의 같은 콘텐츠를 가질 때, '대표 URL'이 어디인지 검색 엔진에 알려주는 HTML 태그입니다.
SEO코어 웹 바이탈
구글이 페이지 사용자 경험을 정량 측정하기 위해 정의한 핵심 지표 묶음으로, 로딩·반응성·시각적 안정성 세 축으로 구성됩니다.
SEO내부 링크
같은 도메인 내 다른 페이지로 연결되는 링크 전략으로, 크롤링 효율과 페이지 권위 분배, 사용자 탐색을 동시에 좌우합니다.
우리 브랜드는 AI 답변에 어떻게 등장하고 있을까요?
Villion은 ChatGPT·Perplexity·AI Overview에서 브랜드 인용 현황을 진단하고, 인용률과 언급 점유율을 끌어올리는 작업을 자동화합니다.
무료 진단 받기