Fine-tuning

Fine-tuning(微调)是指让已经做好的模型针对特定用途「再接受训练」。如果从零开始训练新模型是量身定制西装,那微调就是修改成衣——买一件不错的衣服(通用模型)回来,只是把袖子改短一点,让它更合身(适配自家公司的业务)。

具体做法是喂给模型准备好的示例数据。用几千份医疗问诊记录做微调,就能得到一个说话带医疗腔调、懂医疗知识的模型;用自家公司的客服记录做微调,就能得到一个按公司风格回答的模型。这比从头训练整个模型便宜得多。

在报道中,这个词通常出现在两种语境里:企业宣布「打造了自己的微调模型」的应用案例,以及基于开源模型微调而来的衍生模型(比如「基于Llama的韩语专用模型」)发布的消息。值得记住的是它和RAG的区别——RAG是换了参考资料答案就跟着变,而微调则是让知识真正「刻进」模型本身。

「把开源模型用自家数据做微调,成本降到了原来的十分之一。」——这是典型的应用报道:与其用大厂的API,不如自己动手改一件成衣。

「我们用公司资料训练了AI」这句话两边都会用到,但方式完全不同。一种是重新训练模型本身、改变其内在特性;另一种是模型保持不变,每次提问时去找相关文档一起提供给它。公司说「做个内部聊天机器人」时,通常需要的是后者。

LoRA本身就是微调的一种方式,所以「该用哪个」这个问题本身就有点问错了。准确地说,微调是大类,LoRA是在这个大类里低成本实现的一种方法。现在文章里说「做了微调」,大多数情况下实际指的是LoRA。