machine unlearning
PulseAugur coverage of machine unlearning — every cluster mentioning machine unlearning across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
新基准测试AI在纠缠数据下的隐私遗忘能力
研究人员推出PPE-Bench，一个旨在评估多模态大语言模型（MLLMs）机器学习遗忘技术有效性的新基准。现有基准未能充分解决问题，它们使用简化的图像并假设私有数据和公共数据之间完全分离。PPE-Bench通过整合私有信息与公众人物或地标视觉纠缠的图像来解决这些问题，旨在测试遗忘能力而不损害公共信息的保留。实验表明，当前的遗忘方法可以减少私有数据泄露，但通常会对公共信息的保留产生负面影响。
-
新理论连接持续学习与机器遗忘
研究人员开发了一个理论框架来解决持续学习系统中的机器遗忘挑战。这个新的目标函数量化了保留过去知识与有效遗忘特定数据之间的权衡。该研究分析了基于梯度和基于Hessian的遗忘方法，发现基于梯度的方法存储开销最小，而基于Hessian的方法在最小化遗忘损失方面更有效。这促成了一个提出的混合策略，以平衡性能和存储成本，实验结果支持了理论发现。
-
AI研究人员呼吁对大型语言模型中的机器遗忘使用更严格的术语
一篇观点论文认为，“机器遗忘”一词在大型语言模型（LLMs）的语境中经常被误用。作者提出，“机器遗忘”应严格指代移除特定训练数据影响的过程，确保由此产生的模型与未包含该数据的模型相当。他们建议，许多当前被称为遗忘的应用，例如拒绝有害内容或移除实体，实际上属于对齐、抑制或编辑等不同类别，需要不同的术语和评估方法。该论文呼吁使用更精确的语言和评估指标，以符合这些大型语言模型修改的既定目标。
-
新研究质疑机器学习“反学习”评估的有效性
arXiv上的一篇新论文质疑了当前机器学习“反学习”（MU）评估方法的有效性。研究人员发现，标准的输出级指标，如遗忘集准确率和logit级成员推理，可能高估了“反学习”的成功率。通过与从头开始重新训练的模型进行比较，研究表明，许多当前的MU方法即使在输出级遗忘似乎已完全实现时，也表现出表示空间中的结构化不匹配。这表明当前的评估可能认证的是表面上的遗忘，而不是与真正重新训练一致的“反学习”。
-
新的DFMU方法提供更快、数据节约型的机器学习遗忘
研究人员开发了一种新的机器学习遗忘方法，称为DFMU（Data-Frugal Machine Unlearning），它显著降低了计算需求和数据需求。与通常依赖广泛重新训练的现有方法不同，DFMU使用一次前向和后向传播来计算计算块的重要性。与最先进的方法相比，这种方法仅使用13%的数据就能提高40%的准确性，并且在遗忘特定类别时数据处理速度提高88%。
-
新的DFMU方法实现了数据节约型机器学习遗忘
研究人员推出了一种名为数据节约型机器学习遗忘（DFMU）的新颖方法，旨在从已训练的机器学习模型中高效地移除数据元素。与通常需要大量重新训练的现有方法不同，DFMU仅使用一次前向和后向传播来计算模型组件的重要性得分。该技术基于知识保留剪枝，显著降低了计算需求和数据需求。实验表明，与最先进的方法相比，DFMU仅使用13%的数据即可实现40%更高的保留准确率，同时遗忘任务的处理速度也提高了88%。
-
新基准评估机器遗忘技术的鲁棒性
研究人员推出RUB，一个旨在评估机器遗忘技术鲁棒性的基准。当前的遗忘方法常常无法保证完全移除敏感信息，并且容易受到旨在恢复已遗忘数据的对抗性攻击。RUB通过评估模型与重新训练的对应模型的不可区分性以及对各种威胁的抵御能力来解决这一问题，使用了分类、图像到图像重建和文本到图像合成任务。该基准包含一种新的攻击方法——遗忘映射攻击（UMA）——来检测残余信息，揭示即使是先进的遗忘方法也容易受到影响。
-
机器学习遗忘审计面临固有的隐私-审计权衡
一篇新论文探讨了在模型所有者和审计员之间相互不信任的情况下，审计机器学习遗忘（MU）所面临的挑战。该研究提供了信息论证明，表明通用的行为审计无法在不泄露有关保留数据敏感信息的情况下识别遗忘不充分的模型。这种固有的隐私-审计权衡即使在非凸模型中也存在，表明需要更强大的隐私保护审计方案。
-
新框架审计AI遗忘有效性，揭示方法失败 · 跟踪2个来源
研究人员开发了一个新的框架来审计机器学习遗忘，这是一个允许AI模型在不完全重新训练的情况下忘记特定数据的过程。这对于监管合规和AI安全至关重要，因为当前的审计方法通常计算成本高昂且缺乏统计功效。提出的框架，正则化f散度核检验，旨在更敏感、更灵活、更准确，理论上可以控制假阳性并确保假阴性收敛到零。实验表明，虽然一些方法如重新训练和微调可以实现有效的遗忘，但其他方法如去优化和基于Fisher/Hessian的方法即使有正式认证也未能真正擦除数据。
-
研究发现 VLM 安全训练存在虚假关联缺陷
研究人员发现当前视觉语言模型（VLM）的安全训练存在一个重大缺陷，称为“安全幻觉”。这是因为模型学习到了表面文本模式与安全响应之间的虚假关联，而不是真正理解危害。这些 VLM 很容易被简单的词语替换所欺骗，导致绕过安全措施或不必要地拒绝良性查询。研究提出机器学习解绑（MU）作为一种更有效的安全对齐方法，可将攻击成功率降低高达 60%，不必要拒绝率降低超过 84%。
-
新的基准套件AMNESIA针对医疗机器学习遗忘
研究人员推出了AMNESIA，一个新颖的基准套件，用于评估医疗领域的机器学习遗忘。这个大规模的开源资源包含来自11个疾病类别的患者记录的超过70,000个问答对。AMNESIA旨在解决现有遗忘基准的局限性，这些基准通常使用合成或通用数据，通过关注临床相关性和推理。使用AMNESIA进行的初步评估显示，遗忘单个患者的数据可能会无意中影响具有相似病症的其他患者的知识保留，突显了对更复杂遗忘方法的需求。
-
新研究应对 LLM 中的机器遗忘挑战
研究人员正在开发大型语言模型（LLM）中机器遗忘的新方法，这一过程对于隐私和知识管理至关重要。几篇论文探讨了在不完全重新训练的情况下从训练模型中删除特定数据的技术。这些技术包括用于专家混合（Mixture-of-Experts）模型的 TRACE、用于平滑预测概率的 LoTUS 以及用于学习 token 级别重要性的 ATWU。其他研究则关注遗忘的最佳实践，例如使用多样化的邻居集和模块化采样，并强调了多个训练种子对于可靠评估的重要性。…
-
基础模型：将遗忘从数据追踪转向知识追踪
这篇立场论文提出将基础模型的机器遗忘从数据追踪转向知识追踪。作者认为，当前的数据追踪方法对于基础模型来说不切实际，因为用户通常无法访问海量训练数据集。相反，他们建议基于模型不应拥有的知识或能力进行遗忘，这更符合人类遗忘的认知过程。论文还概述了这种知识追踪方法面临的重大挑战，并以一个视觉-语言基础模型为例进行了案例研究。
-
新研究探索高效且鲁棒的机器学习擦除技术
研究人员正在开发新的机器学习擦除方法，旨在无需完全重新训练即可从训练模型中去除特定数据的影响。多篇论文提出了实现更高效、更鲁棒擦除的新技术。这些方法侧重于在确保遗忘的知识不易被恢复的同时，保持模型的效用，即使在持续训练或对抗性攻击下也是如此。
-
新的ICCU框架实现了上下文内持续遗忘
研究人员推出ICCU，一种用于机器学习模型上下文内持续遗忘的新颖框架。该方法从遗忘数据集中生成可读的拒绝规则，然后在推理过程中应用这些规则，而不改变模型参数。ICCU通过独立累积规则来解决顺序遗忘请求相关的成本和干扰问题，确保了组合性和消除了跨请求干扰。实验表明，即使面对释义或跨语言查询，ICCU也能在保持模型效用的同时有效抑制特定知识。
-
BARRIER框架通过激活几何实现鲁棒的机器遗忘
研究人员引入了BARRIER，一个新颖的机器遗忘框架，它侧重于隐藏层激活的几何形状，而不是静态的模型权重。该方法使用基于SVD投影的区间算术来定义目标信息擦除的边界超立方体。通过将更新限制在此区域内并在其外部数学上界定响应，BARRIER严格保护保留的信息，从而能够在不损害其他表示的情况下进行更积极的遗忘。实验表明，BARRIER在概念擦除方面实现了最先进的权衡，同时在各种分类器和扩散模型中保持了模型的完整性。
-
数据科学家探讨机器遗忘的衡量与实现
本文探讨了机器遗忘的概念，重点关注在AI模型中衡量和实现特定数据“遗忘”的方法。作者是Raft的数据科学家，他借鉴了一次会议演讲，讨论了选择性地从训练系统中删除信息的技朧挑战和潜在解决方案。文章深入探讨了确保不需要的数据被真正擦除，同时又不影响模型整体性能的细微之处。
-
新研究分析二阶优化器中的机器学习遗忘
一篇新论文分析了机器学习遗忘技术，特别是针对二阶优化器，发现当前定义可能不足。研究比较了一阶和二阶优化器在数据删除任务中的表现，指出虽然两种方法都显示出性能和梯度对齐，但二阶优化器表现出状态波动性。这种波动性表明存在一阶分析可能忽略的残余信息，表明需要受控的状态扰动来完全擦除几何信息。