Transformer

这是谷歌研究团队在2017年发表的论文《Attention Is All You Need》中提出的神经网络架构。与之前那种按顺序逐词读取句子的方式不同，它会把整个句子一次性摆在一起，计算词与词之间的关联程度——也就是所谓的注意力（attention）。

这种结构非常适合并行计算，因此可以借助GPU大规模扩展，而这正是如今各种语言模型的由来。GPT中的T指的就是Transformer——ChatGPT、Claude、Gemini全都建立在这套骨架之上。「将取代Transformer的新架构」这类报道时常出现，但目前为止，这个王座还没有易主。