蒸馏

先让又大又贵的「教师模型」大量生成答案，再用这些答案训练又小又便宜的「学生模型」去模仿。这种做法就像把知识「蒸馏」出来，重新灌装进新的容器，因此得名。

手机上运行的许多小型模型都是这样制造出来的。这个词也是行业纠纷的焦点——各公司之间常互相指控对方偷偷大量抓取自己前沿模型的回答，用来训练自家的学生模型。所谓「蒸馏争议」的报道，说白了就是「抄袭学习」的指控。

两者都被说成是「让模型变轻」,看起来像同一种技术。但其实一个是让小模型向大模型学习、单独训练出来的过程,另一个是把已有模型的数字精度调粗、只是缩小体积。两者也常常一起用——先蒸馏出小模型,再用量化进一步压缩。