Attention
计算句子中各个词彼此关联程度的机制,是Transformer的核心,也是现代AI的关键部件。
简单来说
Attention(注意力机制)是AI在阅读句子时用来计算「该把注意力放在哪里」的装置。打个比方,它就像一支荧光笔——在一长串句子中,把当下重要的词标亮,把不那么重要的词留得暗淡,以此来把握上下文。
2017年一篇名为《Attention Is All You Need》的论文,把这个机制放在了AI的核心位置,一举取代了此前使用的复杂结构。这篇论文提出的结构正是Transformer,如今世界上几乎所有大型语言模型(LLM)都建立在它之上。
新闻中提到「注意力机制」时,说的就是让AI理解上下文的核心部件。最近,当句子变得极长(数十万token)时,注意力的计算量会急剧增加,因此围绕如何降低这一负担的效率化研究也十分活跃。
在报道中是这样出现的
「通过降低注意力计算量,降低了处理长文档的成本」——意思是对模型核心部件注意力机制的效率进行了改进。