PulseAugur
中
实时 08:53:50
English(EN) Lost in the Middle: Why Feeding Your Agent More Context Makes It Dumber

迷失在中间：为什么给你的代理提供更多上下文会使其变笨

作者 PulseAugur 编辑部 · [1 个来源] ·

大型语言模型（LLMs）会表现出一种称为“迷失在中间”的现象，当长上下文窗口中的信息位于中间时，它们回忆信息的能力会显著下降。这个问题并非特定于某个模型，而是影响自注意力机制和位置编码的架构限制，这些机制和编码倾向于偏好上下文开头和结尾的信息。因此，模型的宣传上下文窗口大小并不等同于其用于准确检索的有效可用上下文，这会导致检索增强生成（RAG）管道中的静默故障。为缓解此问题，用户应避免盲目增加检索块的数量，优先将关键信息放置在上下文窗口的边缘，并实施重新排序阶段或自定义 AI

排序理由 [lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

迷失在中间：为什么给你的代理提供更多上下文会使其变笨

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · speed engineer ·

    迷失中间：为什么给你的代理提供更多上下文会使其变笨

    <h2> The problem </h2> <p>You build a RAG pipeline. You test it with 3 retrieved documents and the correct answer is right there in document 2 - the model nails it every time. Feeling good, you bump <code>top_k</code> from 3 to 15 "to be safe," figuring more context can only help…