LLM 채점자

LLM-as-a-Judge는 'A 답변과 B 답변 중 어느 쪽이 더 좋냐'를 사람이 일일이 판정하는 대신, 강한 LLM에게 채점 기준을 주고 평가를 맡기는 방식입니다. 사람 평가에 비해 빠르고 저렴하고 일관성 있는 데다, 케이스 수가 많아질수록 격차가 커집니다.

다만 한계도 분명합니다. 길게 쓴 답변을 더 좋다고 평가하는 경향(length bias), 비슷한 어조의 답변을 선호하는 경향, 프롬프트 미묘한 변화에 민감한 점 등이 알려져 있습니다. 그래서 실무에서는 절대 점수보다 '같은 평가 프롬프트로 모델 A vs 모델 B를 비교한 상대 점수'로 쓰는 게 안전합니다.

GEO·B2B 평가 환경에서도 LLM-as-a-Judge는 유용합니다. 같은 질문에 대해 우리 콘텐츠가 인용된 답변과 그렇지 않은 답변을 LLM이 비교해주면, 인용 가능성을 수치로 추적하기 위한 빠른 평가 루프를 만들 수 있습니다.