训练与推理
Training & Inference
AI的两个阶段——学习的时间(训练)和实际使用的时间(推理)。两者花钱的方式完全不同。
简单来说
AI的一生分为两个阶段:学习的时间(训练,training)和拿出来用的时间(推理,inference)。
训练就像备考生活。模型要花上几个月阅读海量数据,不断调整参数,这个过程需要数万块GPU和天文数字般的电费。「某公司花费数千亿韩元训练新模型」这类新闻说的就是这个阶段。训练本身又分为打基础的「预训练(pre-training)」,以及在此基础上培养礼貌和办事能力的后续训练。
推理则是毕业后上班。已经学成的模型每一次接收提问、给出回答,都是推理;我们每跟聊天机器人说一句话,某个数据中心里就会产生一次推理成本。用户越多,花在推理上的钱就越超过训练,所以AI公司的收费方案和数据中心投资新闻,说的大多是推理成本的事。
在报道中是这样出现的
「将推理成本降低90%的新型芯片」——意思是降低的是服务模型(推理)的成本,而不是制造模型(训练)的成本。分清这两个阶段,看懂芯片相关的新闻就容易多了。
「推理」被用来表达两种不同的意思
是不是实际运行模型, 是不是回答前先思考
这是中文报道中最危险的同词异义现象。英文里本是两个不同的词——reasoning 和 inference,但两者常被译成同一个中文词。「推理成本暴涨」这句话通常说的是运行模型的成本,而「推理能力变强了」说的却是思考能力。同一个词,说的是两件事。
| 对比项 | 训练与推理 | Reasoning Model |
|---|---|---|
| 原词 | inference——运行训练好的模型得出答案 | reasoning——按逻辑思考 |
| 反义 | training(训练)——学习所花的时间 | 不经思考直接给出答案 |
| 变好时 | 出结果更快、成本更低 | 能解出数学、编程这类难题 |
| 报道中常见说法 | 「推理成本」「专用推理芯片」「推理需求」 | 「推理能力」「延长了思考时间」 |
| 两者关系 | 于是这部分成本上升——这正是当下芯片短缺的背景 | 思考得越久,运行时间就越长 |
判断方法前面接「成本」「芯片」「需求」,说的是运行模型(inference);接「能力」「过程」,说的是思考(reasoning)。
相关词条
出现过这个词的报道
目前还没有报道用到这个词。有新报道时会自动出现在这里。