LLM 벤치마크

LLM 벤치마크는 여러 모델을 같은 기준에서 비교하기 위한 표준 시험입니다. MMLU(다분야 지식), HumanEval(코드), GSM8K(수학), MT-Bench(대화) 같은 것들이 자주 쓰입니다. 모델 출시 자료에서 'GPT-5가 MMLU에서 90점을 넘었다' 같은 표현은 이 벤치마크 결과입니다.

마케팅 관점에서 의미 있는 포인트는 '벤치마크 점수만 보고 모델을 고르면 안 된다'는 사실입니다. 우리 실제 업무(브랜드 톤 답변, 한국어 콘텐츠 생성, 도메인 특화 질문)와 벤치마크 과제는 다를 수 있습니다. 점수는 출발점일 뿐 최종 결정 기준이 아닙니다.

또 한 가지, 인기 벤치마크는 학습 데이터에 유출됐을 가능성도 꾸준히 지적됩니다. 그래서 최근에는 Arena 같은 인간 선호 기반 평가, 또는 사내 자체 평가셋을 같이 보는 게 일반적입니다.