counterfactual history
PulseAugur coverage of counterfactual history — every cluster mentioning counterfactual history across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
AI 知识编辑基准存在缺陷，新研究发现
Aditya Pratap Singh 及同事在 arXiv 上发表的一篇新研究论文揭示了当前 AI 模型知识编辑基准的重大局限性。他们的研究使用了一个名为 INLAY 的无梯度系统，发现现有基准无法准确衡量范围分类决策，该决策决定了存储的编辑是否适用于给定的查询。研究表明，这些基准在设计上不会惩罚使用参数化知识时的错误答案，因此未能奖励能够拒绝不当编辑的分类器。该论文认为，这些问题普遍存在于这些基准所评估的范围分类器家族中。
-
新框架RARE改进MoE语言模型引导
研究人员开发了RARE，一个用于引导专家混合（MoE）语言模型的新框架，该框架将表示引导与专家路由解耦。这种方法将行为扰动投影到路由器矩阵的零空间，从而缓解了表示工程与MoE架构之间的结构不匹配引起的问题。研究表明，RARE在有害性引导、真实性和事实编辑方面均有改进，同时保持了模型的准确性。另外一项研究调查了双语MoE模型，发现虽然顺序语言暴露可以实现稳定、语言平衡的路由，但非课程基线表现出更强的总体语言专业化。
-
PRISM Edit 在无需重新训练的情况下增强了 LLM 的时间事实更新能力
研究人员开发了 PRISM Edit，这是一种在无需完全重新训练的情况下更新大型语言模型（LLM）中时间事实的新颖方法。与替换信息的传统方法不同，PRISM Edit 优化了一个单一的表示，该表示可以通过时间上下文进行调制，从而使 LLM 在整合新信息的同时保持历史准确性。该方法在一个名为 TimeConflict 的新基准上进行了评估，并在时间一致性和当前相对时间评分方面取得了显著改进，同时比现有基线更有效率。
-
新的MAAT遗忘方法通过平衡基准解决“为什么”问题
研究人员推出了一种新颖的三阶段目标性机器学习遗忘框架MAAT，该框架专门解决了移除因果知识的难题。现有基准存在偏差，低估了“为什么”问题的代表性，而“为什么”问题对于评估因果和关系知识的移除至关重要。MAAT在LoRA适配器权重上运行，并采用梯度投影上升和SVD剪枝等技术来实现高遗忘率，同时保留其他知识。配套的5WBENCH基准包含“谁、什么、何时、何地、为什么”的平衡类别，首次量化了这些遗忘失败。