PulseAugur
中
实时 12:38:42
实体 Controlled In-Context Memory

Controlled In-Context Memory

PulseAugur coverage of Controlled In-Context Memory — every cluster mentioning Controlled In-Context Memory across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_273148 ·

    新基准显示,由于注意力漂移,LLM难以处理过时信息

    研究人员发现了一种名为“陈旧绑定”的现象,即大型语言模型(LLM)无法使用上下文中的更新信息,而是恢复到过时的值。为了解决这个问题,他们开发了受控上下文记忆(CICM),这是一个用于评估模型如何处理信息变化的基准。实验表明,即使是先进的模型也难以应对这个问题,常常无法选择正确、当前的信息。该研究指出“注意力漂移”是关键机制,注意力机制可能偏爱旧信息而非新数据。通过干预以将注意力重新导向当前值,研究人员在不重新训练模型的情况下纠正了大多…