모델 증류

Model Distillation은 큰 모델이 만든 답변을 정답처럼 사용해서, 더 작은 모델을 학습시키는 방법입니다. 작은 모델이 큰 모델의 '판단 패턴'을 흉내내도록 만든다고 보면 직관적입니다. GPT-4o, Claude Haiku, Llama의 작은 버전들 같은 '경량형' 라인업은 거의 다 증류가 들어가 있다고 봐도 됩니다.

마케팅 관점에서 의미 있는 포인트는 'AI 운영비를 잡는 가장 현실적인 도구'라는 사실입니다. 라이브 챗봇·실시간 추천·대규모 콘텐츠 분류처럼 호출량이 큰 작업에서 풀사이즈 모델을 쓰면 비용이 폭발합니다. 증류된 작은 모델로 기본 트래픽을 처리하고, 어려운 케이스만 큰 모델로 넘기는 패턴이 표준이 되고 있습니다.

다만 증류는 '교사 모델만큼 잘하는 작은 모델'을 보장하지 않습니다. 교사 모델의 약점·환각 패턴까지 따라가는 경우도 많고, 도메인 밖 질문에서는 격차가 더 벌어집니다. 평가셋을 잘 만들어두고 케이스별로 비교해보는 게 안전합니다.