Apple：XSA排他性自注意力修复Transformer缺陷

排他性自注意力（XSA）的新技术，旨在解决传统Transformer模型中存在的“注意力相似性偏差”问题。作者发现，传统的自注意力机制往往会过度关注当前位置的信息，这与随后负责点对点特征更新的FFN层功能重叠，从而削弱了模型建模上下文关系的能力。通过简单的数学修改，XSA显式地从注意力输出中剔除与自身向量相关的成分，强制模型更高效地捕捉外部环境信息。实验证明，该方法在不显著增加计算开销的前提下，能显著提升大语言模型在多项基准测试中的表现。特别是在处理长序列输入时，XSA相比标准架构展现出更明显的性能优势和鲁棒性。