증류

크고 비싼 「선생 모델」의 답변을 대량으로 뽑아, 작고 싼 「학생 모델」에게 흉내 내도록 가르치는 기법입니다. 지식을 증류해 옮겨 담는다는 뜻에서 이름이 왔습니다.

폰에서 도는 소형 모델 상당수가 이렇게 만들어집니다. 산업 갈등의 단어이기도 합니다 — 남의 프론티어 모델 답변을 몰래 대량 수집해 학생 모델을 길렀다는 의혹 공방이 회사들 사이에 오갑니다. 「증류 의혹」 기사는 곧 「베껴 배웠다」는 주장입니다.

둘 다 「모델을 가볍게 만든다」로 설명돼 같은 기술처럼 보입니다. 하지만 하나는 작은 모델을 따로 만들어 큰 모델의 실력을 가르치는 일이고, 다른 하나는 이미 있는 모델의 숫자를 성글게 깎아 몸집만 줄이는 일입니다. 같이 쓰는 경우도 많습니다 — 증류로 작게 만든 뒤 양자화로 한 번 더 줄입니다.