counterfactual history
PulseAugur coverage of counterfactual history — every cluster mentioning counterfactual history across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
LadderEdit 通过残差压缩将 LLM 编辑内存减少 5.2 倍 · arXiv
研究人员开发了 LadderEdit，一种用于大型语言模型（LLM）内存高效终身编辑的新颖方法。该方法在获取每次编辑后压缩单独的 LoRA 适配器，最初将其存储为低秩草图。满足特定标准的编辑将保留为草图，而未满足的则提升到更高的秩。这项技术显著降低了存储需求，与传统的 LoRA 方法相比，内存使用量减少了 5.2 倍，同时在 Llama 3-8B、Mistral-7B 和 Qwen2.5-7B 等各种基准测试和模型上进行了 50,00…
-
AI 知识编辑基准存在缺陷，新研究发现
一篇新的研究论文认为，当前用于 AI 模型知识编辑的基准存在根本性缺陷，未能准确衡量关键的“范围分类”决策。作者开发了一种名为 INLAY 的无梯度编辑器来生成精确的真实情况，揭示现有基准与简单的静态策略相比没有可衡量的改进。这种局限性源于其反事实性质，这使得分类器无法学会拒绝不正确的编辑。
-
新框架RARE改进MoE语言模型引导
研究人员开发了RARE，一个用于引导专家混合（MoE）语言模型的新框架，该框架将表示引导与专家路由解耦。这种方法将行为扰动投影到路由器矩阵的零空间，从而缓解了表示工程与MoE架构之间的结构不匹配引起的问题。研究表明，RARE在有害性引导、真实性和事实编辑方面均有改进，同时保持了模型的准确性。另外一项研究调查了双语MoE模型，发现虽然顺序语言暴露可以实现稳定、语言平衡的路由，但非课程基线表现出更强的总体语言专业化。
-
PRISM Edit 在无需重新训练的情况下增强了 LLM 的时间事实更新能力
研究人员开发了 PRISM Edit，这是一种在无需完全重新训练的情况下更新大型语言模型（LLM）中时间事实的新颖方法。与替换信息的传统方法不同，PRISM Edit 优化了一个单一的表示，该表示可以通过时间上下文进行调制，从而使 LLM 在整合新信息的同时保持历史准确性。该方法在一个名为 TimeConflict 的新基准上进行了评估，并在时间一致性和当前相对时间评分方面取得了显著改进，同时比现有基线更有效率。
-
新的MAAT遗忘方法通过平衡基准解决“为什么”问题
研究人员推出了一种新颖的三阶段目标性机器学习遗忘框架MAAT，该框架专门解决了移除因果知识的难题。现有基准存在偏差，低估了“为什么”问题的代表性，而“为什么”问题对于评估因果和关系知识的移除至关重要。MAAT在LoRA适配器权重上运行，并采用梯度投影上升和SVD剪枝等技术来实现高遗忘率，同时保留其他知识。配套的5WBENCH基准包含“谁、什么、何时、何地、为什么”的平衡类别，首次量化了这些遗忘失败。