X-Robots-Tag

X-Robots-Tag는 페이지 안 <meta>가 아니라 HTTP 응답 헤더로 noindex·nofollow 같은 지시를 전달하는 방식입니다. 가장 큰 차이는 적용 대상입니다. PDF, 이미지, 동영상, 사이트맵 파일처럼 HTML이 아닌 자원에도 인덱싱 정책을 줄 수 있다는 점이 핵심 장점입니다.

실무에서 자주 쓰는 패턴은 'PDF 파일 전체 noindex', '특정 디렉터리 nofollow', '특정 봇에만 다른 정책 적용' 같은 케이스입니다. 서버나 CDN 단계에서 헤더를 일괄로 붙일 수 있어서, 페이지 단위 메타 태그보다 운영 부담이 적은 경우가 많습니다.

주의할 점은 X-Robots와 meta robots가 동시에 적용되면 더 제한적인 쪽이 우선이라는 사실입니다. 그래서 '페이지에서 index인데 헤더에서 noindex' 같은 모순을 만들지 않도록, 한 곳에서 정책을 정의하고 다른 곳은 그것을 따르는 식으로 운영하는 게 안전합니다.