LoRA（Low-Rank Adaptation）
Low-Rank Adaptation
不训练整个模型，只训练一小块「补丁」的低成本微调方法，个人电脑也能做到。
简单来说
Low-Rank Adaptation——一种不需要重新训练整个模型，只训练一小块「补丁」（适配器）并将其嵌入原模型的微调技术。这就好比不重建整栋大楼，只装修其中一个房间，成本因此降到原来的几百分之一。
这正是个人电脑也能改造模型的关键所在。尤其在图像生成社区里，制作并分享「特定画风LoRA」「特定角色LoRA」的文化非常盛行，也正因如此，围绕画风抄袭、肖像权的争议也常常围绕这个词展开。
微调与LoRA,区别在哪
只训练额外附加的小部分, 重新训练整个模型
LoRA本身就是微调的一种方式,所以「该用哪个」这个问题本身就有点问错了。准确地说,微调是大类,LoRA是在这个大类里低成本实现的一种方法。现在文章里说「做了微调」,大多数情况下实际指的是LoRA。
| 对比项 | LoRA（Low-Rank Adaptation） | Fine-tuning |
|---|---|---|
| 训练什么 | 只训练附加上去的小部分 | 模型内部的全部参数 |
| 成本 | 已经降到个人电脑也能跑的程度 | 需要企业级设备 |
| 产出 | 原模型保持不变,只生成一个小文件 | 会生成一整套全新的模型 |
| 替换方式 | 只替换小部分,可以轮流切换使用多个 | 必须整体替换模型 |
| 比喻 | 在衣服上打补丁 | 重新做一件衣服 |
判断方法微调是目的,LoRA是低成本实现这个目的的方法——这不是二选一的问题。
相关词条
出现过这个词的报道
目前还没有报道用到这个词。有新报道时会自动出现在这里。