【第291期】（中文）attention sinks：LLMs倾向于将大部分注意力集中在第一个token

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。今天的主题是：Why do LLMs attend to the first token?Summary本研究探讨大型语言模型 (LLMs) 中“注意力槽”（attention sinks）现象的潜在原因和效用。注意力槽是指LLMs倾向于将大部分注意力集中在序列的第一个标记上，即使该标记语义不重要。作者认为，这种机制是LLMs为了避免“过度混合”信息而采取的一种策略，过度混合可能导致表示崩溃，降低模型性能。通过理论分析和实验验证，研究表明，随着模型规模和上下文长度的增加，注意力槽变得更强，这支持了其作为稳定信息传播机制的作用。此外，文章还分析了预训练设置对注意力槽形成的影响，指出即使移除起始标记，模型也会在第一个可用标记上形成注意力槽。原文链接：https://arxiv.org/abs/2504.02732前往小宇宙评论区与主播互动