Post-training
预训练之后打磨模型态度与能力的阶段,如今模型性能的差距大多在这里拉开。
简单来说
AI模型的诞生分两个阶段。首先是预训练(pre-training),让模型阅读海量互联网文本;之后是打磨模型态度和能力的阶段,也就是post-training。
打个比方,预训练就像阅读百科全书积累世界知识,post-training则像是岗前培训:"对客人要礼貌回答""危险的要求要拒绝""要一步步思考"。具体来说,RLHF(基于人类反馈的强化学习)、指令微调、安全性训练等都属于post-training。
如今模型之间的性能差距,往往不在预训练,而在post-training。即使是同样规模的模型,打磨方式不同,编程能力、对话质量、安全性也会有很大差别。新闻中提到"加强了post-training",意思就是提升了模型的实际可用性。
在报道中是这样出现的
"预训练相同,但通过post-training将编程性能提升了30%。" —— 意思是基础能力相同,但通过针对性训练实现了差异化。