machine unlearning
PulseAugur coverage of machine unlearning — every cluster mentioning machine unlearning across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新基准SciUnlearn解决了大型语言模型中过时科学主张的问题
研究人员引入了一个名为SciUnlearn的新基准，以应对从大型语言模型中移除过时科学主张的挑战。目前的机器遗忘方法对于主张级别的知识移除来说是不够的，通常只能表面上抑制信息。这项工作强调了需要专门的技术来有效地从大型语言模型中消除过时的科学知识，同时保持其整体效用。
-
模型“反学习”：让AI模型遗忘的艰难任务
模型“反学习”（Machine unlearning）是指在不完全重新训练的情况下，让AI模型遗忘特定数据的过程，这是一个复杂的挑战。这对于法律合规、移除敏感信息或减轻对抗性攻击至关重要。其难点在于神经网络权重的纠缠特性，单个数据点的影响会扩散到数十亿个参数中，因此在不损害模型整体效用的情况下进行选择性移除，仍然是一个持续的研究难题。
-
新框架利用机器学习遗忘实现成本高效的大语言模型偏好对齐
研究人员开发了一个新框架，将机器学习遗忘技术与大语言模型（LLMs）的偏好对齐相结合。该方法旨在降低传统方法（如基于人类反馈的强化学习 RLHF）的成本和计算强度，后者需要大量的正偏好数据。所提出的名为 Unlearning to Align (U2A) 的方法，通过使用双层优化来选择和加权负面示例，以实现高效地移除负面示例的影响，从而达到最佳性能。实验已证实 U2A 在改善偏好对齐方面的有效性。
-
机器学习遗忘方法在验证和有效性方面面临挑战
机器学习遗忘是指在不完全重新训练的情况下，从已训练模型中移除特定数据影响的过程，但它在验证其有效性方面面临重大挑战。当前方法难以明确证明数据已被移除，因为信息通常可以通过不同的措辞、语言或输出格式来访问。虽然通过像SISA（分片、独立、作用域、聚合）训练这样的技术可以实现精确遗忘，但这种方法成本高昂且会影响模型质量，对于已经训练好的前沿模型来说不切实际。近似方法更为常见，但缺乏稳健的评估，因为证明知识的缺失比证明其存在更困难。
-
新框架通过模式连通性分析机器遗忘
研究人员引入了一个名为“遗忘中的模式连通性”（MCU）的新框架，以更好地理解机器遗忘的过程。该方法分析了经过良好训练的模型如何在特定数据被移除后，仍能通过其参数空间中的平滑路径连接起来。研究发现，遗忘后的模型通常位于连通的盆地中，表现出平滑的保留和遗忘行为，尽管训练动态的变化可以将解决方案转移到不同的盆地。MCU还强调，同一盆地内的模型在隐私指标上可能存在差异，并且遗忘是一个非线性过程。
-
新研究通过模式连通性探索机器遗忘
一篇新论文通过检查模式连通性来探索机器遗忘，模式连通性是指独立训练的模型可以通过参数空间中的平滑路径连接的现象。研究人员引入了“遗忘中的模式连通性”（MCU）来分析这一点，发现被遗忘的模型通常位于具有可预测保留/遗忘行为的连通盆地中。该研究还强调，同一盆地内的模型在隐私指标上可能存在显著差异，并且MCU平滑度与遗忘难度相关。
-
新的DECAF方法增强了机器学习的去学习能力，以抵御聚类攻击
研究人员开发了DECAF（DE-Clustering for Adaptive Forgetting），一种新颖的后验机器学习去学习方法，旨在防止通过聚类攻击进行数据恢复。该方法仅作用于数据的“遗忘集”，利用输入噪声、置信度抑制和基于熵的输出多样化来拆解与已移除数据相关的残余特征空间结构。在CIFAR-10数据集和ResNet-18模型上的实验证明了DECAF的有效性，遗忘类别的准确率达到0.10%，保留类别的准确率达到79.4%，并…
-
首次发布 Vision Transformers 的机器遗忘基准测试
一篇新的研究论文介绍了首个专门为 Vision Transformers (VTs) 设计的机器遗忘 (MU) 基准测试。该研究弥补了 MU 研究的空白，因为该领域的研究主要集中在卷积神经网络 (CNNs) 上，而不是计算机视觉中日益流行的 VTs。该基准测试采用了各种数据集、MU 算法和协议，为比较 VTs 上 MU 算法的性能提供了一种标准化且可复现的方法，为未来的研究奠定了参考基线。
-
新研究将机器遗忘重构为分布恢复
一篇新的研究论文提出了一种新颖的机器遗忘方法，将其重构为分布恢复，而不是简单的知识匹配。研究发现，常见的评估方法可能会错误地偏袒那些保留而非遗忘特定数据的遗忘技术。研究人员开发了一种无神谕的选择性筛选器，能够有效地识别已真正遗忘信息的模型，并在受控测试中证明了其优于现有方法。
-
新研究详细介绍了认证机器学习遗忘的优化复杂度
研究人员探讨了机器学习遗忘的算法复杂度，重点关注从训练模型中移除特定数据所涉及的优化挑战。该研究为认证遗忘引入了新的理论界限，并提出了一种利用各向异性高斯机制的新型二阶遗忘算法。这种新方法展示了最先进的全局收敛性，并在线性模型和准自协调损失方面实现了快速收敛，与用于逻辑回归和指数回归等应用的一阶遗忘技术相比具有可证明的优势。
-
新基准测试AI在纠缠数据下的隐私遗忘能力
研究人员推出PPE-Bench，一个旨在评估多模态大语言模型（MLLMs）机器学习遗忘技术有效性的新基准。现有基准未能充分解决问题，它们使用简化的图像并假设私有数据和公共数据之间完全分离。PPE-Bench通过整合私有信息与公众人物或地标视觉纠缠的图像来解决这些问题，旨在测试遗忘能力而不损害公共信息的保留。实验表明，当前的遗忘方法可以减少私有数据泄露，但通常会对公共信息的保留产生负面影响。
-
新理论连接持续学习与机器遗忘
研究人员开发了一个理论框架来解决持续学习系统中的机器遗忘挑战。这个新的目标函数量化了保留过去知识与有效遗忘特定数据之间的权衡。该研究分析了基于梯度和基于Hessian的遗忘方法，发现基于梯度的方法存储开销最小，而基于Hessian的方法在最小化遗忘损失方面更有效。这促成了一个提出的混合策略，以平衡性能和存储成本，实验结果支持了理论发现。
-
新理论连接持续学习与机器遗忘
研究人员开发了首个理论框架来解决持续学习（CL）系统中机器遗忘的挑战。该新框架描述了在持续更新的模型中，保留现有知识与有效遗忘特定数据之间的权衡。研究提出将现有的遗忘方法，如基于梯度和基于Hessian的方法，应用于CL，并强调基于梯度的方法尽管遗忘效果可能较低，但存储开销更低。这表明可以采用混合策略来平衡性能和存储成本，并通过实验进行了验证。
-
AI研究人员呼吁对大型语言模型中的机器遗忘使用更严格的术语
一篇观点论文认为，“机器遗忘”一词在大型语言模型（LLMs）的语境中经常被误用。作者提出，“机器遗忘”应严格指代移除特定训练数据影响的过程，确保由此产生的模型与未包含该数据的模型相当。他们建议，许多当前被称为遗忘的应用，例如拒绝有害内容或移除实体，实际上属于对齐、抑制或编辑等不同类别，需要不同的术语和评估方法。该论文呼吁使用更精确的语言和评估指标，以符合这些大型语言模型修改的既定目标。
-
新的 RAG 研究增强了 LLM 的检索、遗忘和忠实性
多篇研究论文正在探索检索增强生成 (RAG) 的进展，以提高大型语言模型的性能和效率。Apple 的 CLaRa 框架在连续潜在空间中统一了检索和生成，以实现更好的压缩和端到端优化。其他研究侧重于 RAG 的机器学习遗忘，以删除敏感信息；RAG 的测试时适应，以处理领域转移；以及基于图的匹配，以改进多跳推理。此外，还在开发量化检索器-生成器对齐和抑制模型内部知识的方法，以增强 RAG 系统的忠实性。
-
新研究质疑机器学习“反学习”评估的有效性
arXiv上的一篇新论文质疑了当前机器学习“反学习”（MU）评估方法的有效性。研究人员发现，标准的输出级指标，如遗忘集准确率和logit级成员推理，可能高估了“反学习”的成功率。通过与从头开始重新训练的模型进行比较，研究表明，许多当前的MU方法即使在输出级遗忘似乎已完全实现时，也表现出表示空间中的结构化不匹配。这表明当前的评估可能认证的是表面上的遗忘，而不是与真正重新训练一致的“反学习”。
-
新的DFMU方法提供更快、数据节约型的机器学习遗忘
研究人员开发了一种新的机器学习遗忘方法，称为DFMU（Data-Frugal Machine Unlearning），它显著降低了计算需求和数据需求。与通常依赖广泛重新训练的现有方法不同，DFMU使用一次前向和后向传播来计算计算块的重要性。与最先进的方法相比，这种方法仅使用13%的数据就能提高40%的准确性，并且在遗忘特定类别时数据处理速度提高88%。
-
新的DFMU方法实现了数据节约型机器学习遗忘
研究人员推出了一种名为数据节约型机器学习遗忘（DFMU）的新颖方法，旨在从已训练的机器学习模型中高效地移除数据元素。与通常需要大量重新训练的现有方法不同，DFMU仅使用一次前向和后向传播来计算模型组件的重要性得分。该技术基于知识保留剪枝，显著降低了计算需求和数据需求。实验表明，与最先进的方法相比，DFMU仅使用13%的数据即可实现40%更高的保留准确率，同时遗忘任务的处理速度也提高了88%。
-
新基准评估机器遗忘技术的鲁棒性
研究人员推出RUB，一个旨在评估机器遗忘技术鲁棒性的基准。当前的遗忘方法常常无法保证完全移除敏感信息，并且容易受到旨在恢复已遗忘数据的对抗性攻击。RUB通过评估模型与重新训练的对应模型的不可区分性以及对各种威胁的抵御能力来解决这一问题，使用了分类、图像到图像重建和文本到图像合成任务。该基准包含一种新的攻击方法——遗忘映射攻击（UMA）——来检测残余信息，揭示即使是先进的遗忘方法也容易受到影响。
-
机器学习遗忘审计面临固有的隐私-审计权衡
一篇新论文探讨了在模型所有者和审计员之间相互不信任的情况下，审计机器学习遗忘（MU）所面临的挑战。该研究提供了信息论证明，表明通用的行为审计无法在不泄露有关保留数据敏感信息的情况下识别遗忘不充分的模型。这种固有的隐私-审计权衡即使在非凸模型中也存在，表明需要更强大的隐私保护审计方案。