一项最新研究表明，大型语言模型在“中间丢失”现象方面存在困难，当关键信息位于长上下文窗口的中间时，它们的推理能力会 falter。虽然模型可以有效地处理文档开头或结尾的信息，但当核心任务依赖于文档中间的内容时，它们的逻辑连贯性会崩溃。这种“上下文腐烂”代表了推理的根本性崩溃，与早期的事实检索问题不同，并突显了当前大型上下文窗口技术的一个重大局限性。 AI
影响 强调了具有大型上下文窗口的大型语言模型中存在的关键推理缺陷，这可能会影响它们在复杂任务中的可靠性。
排序理由 该集群描述了一项关于大型语言模型局限性的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →