研究人员开发了一个名为受控上下文记忆（CICM）的新基准，用于研究大型语言模型（LLMs）在对话和代理日志中如何处理更新的信息。他们观察到，即使是先进的推理模型也可能无法使用最新数据，这个问题被称为“陈旧绑定”。研究发现，Qwen和Pythia等模型中的“注意力漂移”是导致此失败的关键机制，其中注意力机制倾向于旧信息而非新更新的值。通过干预将注意力重新导向当前值，研究人员无需重新训练即可纠正各种模型系列中的大多数错误，这表明有效的上下文管理对于可靠的LLM响应至关重要。 AI
影响 凸显了LLM上下文管理中的一个关键限制，可能影响代理的可靠性，并需要新的信息检索方法。
排序理由 学术论文，详细介绍了新的基准和对LLM行为的发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
