K-컬쳐 용어사전 ㅇ기사에 자주 나오는 기술 용어

양자화

Quantization

모델 숫자의 정밀도를 낮춰 몸집을 줄이는 압축. 폰에서 LLM이 도는 비결.

쉽게 말하면

모델 속 숫자들의 정밀도를 낮춰 용량과 연산을 줄이는 압축 기술입니다. 소수점 16자리로 저장하던 가중치를 4~8비트 정수로 낮추는 식 — 사진 화질을 한 단계 낮춰 용량을 확 줄이는 것과 비슷합니다.

정밀도를 낮춰도 실력이 거의 안 떨어진다는 게 요점입니다. 노트북·폰에서 LLM이 도는 것, 오픈 모델을 개인 PC에서 돌리는 커뮤니티 문화가 전부 양자화 덕분입니다. 「4비트 양자화 버전 공개」 같은 문구는 「집 컴퓨터에서 돌릴 수 있게 됐다」로 읽으면 됩니다.

양자화와 증류, 뭐가 다른가

있는 모델의 정밀도를 낮추느냐, 작은 모델을 새로 가르치느냐

둘 다 「모델을 가볍게 만든다」로 설명돼 같은 기술처럼 보입니다. 하지만 하나는 작은 모델을 따로 만들어 큰 모델의 실력을 가르치는 일이고, 다른 하나는 이미 있는 모델의 숫자를 성글게 깎아 몸집만 줄이는 일입니다. 같이 쓰는 경우도 많습니다 — 증류로 작게 만든 뒤 양자화로 한 번 더 줄입니다.

구분	양자화	증류
무엇을 하나	모델 숫자의 자릿수를 줄인다	큰 모델을 선생 삼아 작은 모델을 훈련한다
결과물	같은 모델의 가벼운 판본	원본과 다른 새 모델
드는 것	변환만 하면 된다. 훨씬 빠르다	훈련이 필요하다. 시간과 장비
잃는 것	정밀도가 깎여 미세하게 답이 흐려진다	선생만큼은 못 한다
기사에서	「폰에서 도는 4비트 판본」	「대형 모델을 증류한 소형 모델 공개」

가를 때는새 모델이 생기면 증류, 같은 모델이 가벼워지면 양자화입니다.

함께 볼 용어

이 용어가 나온 기사

아직 이 용어를 다룬 기사가 없습니다. 새 기사가 나오면 여기 자동으로 붙습니다.

ㄱㄴㄷ 전체 찾아보기