参数
Parameter
模型内部「调节旋钮」的数量。「70B模型」里的B指的就是它——通常越多越聪明,但也越贵。
简单来说
参数是AI模型内部的「调节旋钮」的数量。模型学到的知识和规律,都以这些旋钮的数值形式存储下来。旋钮越多,能容纳的规律就越精细,因此参数数量常被用来表示模型的「体重级别」。
文章标题里的「7B」「70B」指的正是这个。B是Billion(十亿)的缩写——7B模型意味着有70亿个旋钮。可以把它理解成拳击里的轻量级、重量级。级别越大通常越聪明,但运行时需要更好的设备(GPU)和更多电力。
不过「越大越好」已经是几年前的说法了。如今更有意思的新闻恰恰相反——训练得当的小模型不断击败大模型的案例层出不穷,能在手机上运行的小型模型(端侧模型)也自成一派。
在报道中是这样出现的
「仅用3B参数就打出了70B级别的性能」——这是这个领域里最受欢迎的一类标题:轻量级模型挑战更高级别的对手。
Token和参数,有什么不同
是模型内部数字的个数吗, 是往来文字的量吗
两者都是用来衡量规模的数字,所以文章里出现「700亿」这种数字时,很容易分不清指的是哪一个。一个是你输入和收到的文字量,另一个是模型本身有多大。用得越多就越涨的是前者,模型做出来那一刻就定了、不再变的是后者。
| 对比项 | 参数 | Token |
|---|---|---|
| 数的是什么 | 模型内部可调节的旋钮数量 | 把往来的文字切分后计数的单位 |
| 会变吗 | 模型做成时就定了,不再变化 | 用得越多就越增加 |
| 和费用的关系 | 越大,运行成本越贵 | 计费按这个算 |
| 文章中常见说法 | 「70B模型」里的B指的就是这个 | 「百万Token上下文」「每Token单价」 |
| 比喻 | 那个人脑子里的脑细胞数 | 打电话的分钟数 |
判断方法用得越多就越涨的是Token,模型做出来那一刻就定了、不再变的是参数。
相关词条
出现过这个词的报道
目前还没有报道用到这个词。有新报道时会自动出现在这里。