Liu et al. (2023)
PulseAugur coverage of Liu et al. (2023) — every cluster mentioning Liu et al. (2023) across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
大型语言模型难以回忆长上下文中间的信息
Liu 等人（2023 年）题为《迷失在中间：语言模型如何使用长上下文》的研究表明，大型语言模型并非均匀处理长上下文中的信息。相反，它们表现出 U 形准确率曲线，能够可靠地回忆起上下文的开头（首因效应）和结尾（近因效应）的信息，但在处理位于中间的信息时却遇到显著困难。这种“中间衰减”随着上下文窗口的增加而加剧，这意味着大的 token 窗口并不等同于充分的注意力利用。该论文建议，控制检索块的位置，将最相关的内容放在提示的边缘，可以缓解这个问题。
-
LLM上下文窗口研究表明，对代理来说，越多越好并非如此
近期研究表明，增加LLM代理的上下文窗口大小并不一定会提高性能，实际上可能会降低性能。研究表明，模型难以有效利用大量的上下文，特别是埋藏在长输入中间的信息。有效的性能依赖于智能选择相关信息的精选记忆系统，而不是最大化上下文，在特定基准测试中甚至优于GPT-4o等大型模型。
-
AI角色扮演角色因上下文窗口限制而失去一致性，而非记忆丧失
角色扮演应用中的大型语言模型在有限的对话轮数后，常常会丢失角色一致性和情节细节，这不是因为缺乏记忆，而是因为对话超出了模型的上下文窗口。仅仅增加上下文窗口大小并非万全之策，因为它会带来更高的成本和延迟，并且模型在长输入中间部分的信息上表现往往更差，这种现象被称为“迷失在中间”。有效的长期对话一致性是通过递归摘要或检索增强生成等架构层实现的，它们选择性地将相关历史信息注入上下文窗口，而不是依赖于其原始大小。
-
LLM 在从长上下文窗口中间检索信息时遇到困难
研究人员发现，当关键信息位于长上下文窗口的中间时，LLM 的检索准确性会显著下降。这种被称为“迷失在中间”的现象表明，模型在处理提示的开头或结尾的信息时表现良好，但在处理中心数据时却遇到困难。该问题源于注意力机制倾向于稀释位置信号并偏爱边缘标记，导致中间位置内容的性能下降。建议开发人员“边缘加载”关键上下文，将重要事实和指令放在提示的开头或结尾，以提高检索准确性。