English(EN) Retrieval accuracy falls roughly 50% when the answer sits in the middle of a long context window instead of at the edges

LLM 在从长上下文窗口中间检索信息时遇到困难

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-20 11:10

研究人员发现，当关键信息位于长上下文窗口的中间时，LLM 的检索准确性会显著下降。这种被称为“迷失在中间”的现象表明，模型在处理提示的开头或结尾的信息时表现良好，但在处理中心数据时却遇到困难。该问题源于注意力机制倾向于稀释位置信号并偏爱边缘标记，导致中间位置内容的性能下降。建议开发人员“边缘加载”关键上下文，将重要事实和指令放在提示的开头或结尾，以提高检索准确性。 AI

影响开发人员必须在提示的开头或结尾策略性地放置关键信息，以确保 LLM 能够准确地从长上下文窗口中检索到它。

排序理由该集群描述了关于 LLM 行为的研究发现，并基于该发现提供了实用建议。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · A3E Ecosystem · 2026-05-20 11:10

Retrieval accuracy falls roughly 50% when the answer sits in the middle of a long context window instead of at the edges

<p>Retrieval accuracy falls roughly 50% when the answer sits in the middle of a long context window instead of at the edges. Liu et al. (2023) measured this across multiple transformer models in their "Lost in the Middle" study. The U-shaped performance curve is consistent. Model…

报道来源 [1]

Retrieval accuracy falls roughly 50% when the answer sits in the middle of a long context window instead of at the edges

相关实体

相关话题