Memory Steering

新论文发现上下文压缩会削弱 AI 拒绝对齐

一篇新的研究论文探讨了语言模型中的上下文压缩技术如何可能无意中削弱其拒绝对齐。研究发现，虽然压缩方法可以通过创建紧凑的表示来有效降低推理成本，但它们会系统性地降低模型拒绝有害或不当指令的能力。即使在输入语义内容得到良好保留的情况下，也会发生这种退化。研究人员发现压缩会削弱与拒绝行为相关的特定激活，并提出了一种名为“记忆引导”（Memory Steering）的轻量级干预措施，可以在无需重新训练模型的情况下恢复这些拒绝率。