Lost in the Middle: How Language Models Use Long Contexts
PulseAugur coverage of Lost in the Middle: How Language Models Use Long Contexts — every cluster mentioning Lost in the Middle: How Language Models Use Long Contexts across labs, papers, and developer communities, ranked by signal.
-
大型语言模型在长上下文的中间信息处理上遇到困难
最近发表在《计算语言学学报》(Transactions of the ACL) 上的一项由刘等人进行的研究，识别出一种被称为“迷失在中间”的现象。在该现象中，当关键信息被置于长上下文窗口的中间时，语言模型的准确性会下降。当相关文档既不在提示的开头也不在结尾时，性能会显著下降，有时甚至比闭卷回忆的表现还要差。这种现象已在各种模型架构和上下文长度中观察到，表明这是模型处理扩展信息方式的一个基本挑战。该论文提出，具有固定预算的注意力机制、不…
-
AI生产力陷阱：上下文窗口滥用、手动循环和幻觉问题突出
许多用户发现，采用AI工具反而增加了额外工作，而非提高生产力。一个常见的陷阱是将AI的上下文窗口当作信息倾倒区，模型难以从长输入的中部检索信息，斯坦福大学的研究对此进行了说明。另一个陷阱是在AI和其他应用程序之间手动复制粘贴，这可以通过实现提示链来自动化工作流程来解决。最后，幻觉应被视为系统设计失败，而不仅仅是提示问题，因为孤立的LLM调用缺乏固有的验证机制。
-
LLM Prompting: Position Beats Rank for Long Contexts
长上下文提示中的一个常见问题是语言模型难以准确地从提供的文本中间检索信息。诸如“Lost in the Middle”论文等研究表明，当相关信息放置在上下文窗口的开头或结尾时，模型的表现最佳，而中间信息的准确性会显著下降。为了解决这个问题，采用了一种称为“重排序”的技术，即将排名最高的相关文本块策略性地放置在上下文的开头和结尾，而排名较低的文本块则放在注意力较弱的中间部分。这种位置优化，而不是严格的相关性排序，有助于提高模型利用长上下…
-
GPT-3.5-Turbo在长提示中处理中间信息时遇到困难
一项研究发现，当答案位于长提示（特别是20k token上下文窗口）的中间时，GPT-3.5-Turbo的准确率会显著下降。这一现象在论文“Lost in the Middle: How Language Models Use Long Contexts”中有记载，归因于Transformer模型中的注意力模式，这种模式偏好提示的开头或结尾的信息，而忽略中间部分。这个问题并非检索错误，而是由于训练数据限制导致模型注意力权重在中心区域衰减。