量化

量化是一种压缩技术，通过降低模型内部数字的精度来减少体积和运算量。比如把原本用16位小数存储的权重降到4到8位整数——就像把照片画质调低一档，从而大幅缩小文件体积。

关键在于，精度降低后性能几乎不受影响。LLM能在笔记本电脑、手机上运行，社区能在个人电脑上跑开源模型，这些都要归功于量化技术。看到「发布4比特量化版本」这样的说法，可以理解为「现在可以在自家电脑上跑了」。

两者都被说成是「让模型变轻」,看起来像同一种技术。但其实一个是让小模型向大模型学习、单独训练出来的过程,另一个是把已有模型的数字精度调粗、只是缩小体积。两者也常常一起用——先蒸馏出小模型,再用量化进一步压缩。