PulseAugur
中
实时 11:38:51
English(EN) Retrieval accuracy falls roughly 50% when the answer sits in the middle of a long context window instead of at the edges

LLM 在从长上下文窗口中间检索信息时遇到困难

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员发现，当关键信息位于长上下文窗口的中间时，LLM 的检索准确性会显著下降。这种被称为“迷失在中间”的现象表明，模型在处理提示的开头或结尾的信息时表现良好，但在处理中心数据时却遇到困难。该问题源于注意力机制倾向于稀释位置信号并偏爱边缘标记，导致中间位置内容的性能下降。建议开发人员“边缘加载”关键上下文，将重要事实和指令放在提示的开头或结尾，以提高检索准确性。 AI

影响 开发人员必须在提示的开头或结尾策略性地放置关键信息，以确保 LLM 能够准确地从长上下文窗口中检索到它。

排序理由 该集群描述了关于 LLM 行为的研究发现，并基于该发现提供了实用建议。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

LLM 在从长上下文窗口中间检索信息时遇到困难

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · A3E Ecosystem ·

    Retrieval accuracy falls roughly 50% when the answer sits in the middle of a long context window instead of at the edges

    <p>Retrieval accuracy falls roughly 50% when the answer sits in the middle of a long context window instead of at the edges. Liu et al. (2023) measured this across multiple transformer models in their "Lost in the Middle" study. The U-shaped performance curve is consistent. Model…

相关实体

相关话题