Scaling Laws

扩大模型规模、数据量和算力,性能就会沿着可预测的曲线提升,这就是Scaling Laws(缩放定律)。这一规律在2020年前后由OpenAI的研究正式提出,让业界能够用数学方式相信「做大就会变好」这件事。

这条定律正是数千亿美元投资竞赛的理论依据——大家争相采购GPU、兴建数据中心,原因就在于「规模扩大就能带来性能提升」。反过来,关于「扩展已经遇到瓶颈」的争论,其实是在追问这条定律是否还能继续成立,而推理时计算(inference-time compute)正是针对这一问题出现的新维度。