Session Constraints

LLMs 在上下文压缩时会悄悄忽略用户指令，新研究发现

研究人员发现了一个关键问题，即大型语言模型 (LLM) 在压缩上下文以管理长上下文时会忽略重要的用户指令，这些指令被称为会话约束 (SC)。为此开发了一个名为 COMPINT 的评估套件来测试此问题，结果显示当前压缩方法平均只能保留约 17% 的关键 SC。为解决此问题，研究人员提出了一种 SC 感知提取器模块，可以添加到现有的 LLM 系统中，在不改变核心压缩器或 LLM 的情况下，实现超过 90% 的 SC 保留率。