Du et al. (2025)

语言模型因注意力竞争而非长度而难以处理长输入

一项新研究表明，语言模型在处理长输入时遇到困难，并非由于序列长度本身，而是由于模型内部的注意力“竞争”。研究人员发现，对于 Qwen2.5-1.5B 等模型，中性填充文本对高达 32K 标记的准确性影响很小。然而，引入竞争性陈述或证据格式的文本会显著降低性能，注意力质量与准确性损失密切相关。这表明检索任务中的上下文衰减主要是注意力竞争问题，而不是简单的长度限制。