Chroma Research

大型语言模型遭受“上下文轮换”，长输入时可靠性下降

具有广泛上下文窗口的大型语言模型（如 Gemini 2.5 Pro）经常遭受“上下文轮换”，即随着输入长度的增加，其可靠性会降低。Chroma Research 的一份报告详细介绍了这一现象，表明与开头或结尾相比，模型在上下文窗口中间部分的信息上表现往往更差。这种源于 transformer 注意力机制二次性质的“中间遗忘”效应意味着，更大的上下文窗口并不一定等同于更好的记忆或回忆能力，并且有意识的上下文管理仍然至关重要。