研究人员发现了一个关键问题，即大型语言模型 (LLM) 在压缩上下文以管理长上下文时会忽略重要的用户指令，这些指令被称为会话约束 (SC)。为此开发了一个名为 COMPINT 的评估套件来测试此问题，结果显示当前压缩方法平均只能保留约 17% 的关键 SC。为解决此问题，研究人员提出了一种 SC 感知提取器模块，可以添加到现有的 LLM 系统中，在不改变核心压缩器或 LLM 的情况下，实现超过 90% 的 SC 保留率。 AI
影响 这项研究揭示了当前 LLM 上下文管理中的一个重大缺陷，这可能会影响需要严格遵守用户指令的任务的可靠性。
排序理由 学术论文，详细介绍了一个新的评估套件和针对特定 LLM 限制的解决方案。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
