양자화

Quantization은 LLM의 숫자 가중치를 더 적은 비트로 표현하는 압축 기법입니다. 16비트 부동소수를 8비트·4비트 정수로 줄이면 메모리와 연산량이 크게 떨어지면서도, 답변 품질은 대부분 유지됩니다. 4-bit 양자화 덕분에 70B 모델을 48GB급 워크스테이션 GPU 한 장이나, 24GB 컨슈머 GPU에서 오프로드와 함께 구동할 수 있게 됐습니다.

마케팅 관점에서 직접 다룰 일은 적지만, '온디바이스 AI'와 '저비용 AI 서비스'의 배경에는 거의 항상 양자화가 깔려 있습니다. 스마트폰에서 도는 어시스턴트, 사내 서버에서 도는 비공개 LLM 같은 것들이 가능해진 이유입니다.

다만 양자화 비트를 너무 낮추면 답변 품질이 살짝 떨어지고, 특히 추론·코드 같은 정밀한 작업에서 차이가 더 두드러집니다. '같은 모델인데 왜 답이 좀 어색하지?' 싶을 때, 양자화 수준을 한 번 의심해볼 만합니다.