machine unlearning
PulseAugur coverage of machine unlearning — every cluster mentioning machine unlearning across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新方法认证机器遗忘产物以供实际部署
研究人员开发了可执行发布认证（ExecCert），以弥合理论机器遗忘保证与实际软件部署之间的差距。ExecCert充当发布时层，通过验证方法的原生证书或使用再训练参考发布验证（RRV）来确保再训练的保真度来认证产物。对于具有冻结表示和可变头的场景，引入了增量RRV方法，以有效地维护跨连续删除请求的认证证据。在四个遗忘实现上的实验表明，ExecCert改进了发布决策并准确跟踪了实现的错误，在发布检查频繁时比替代方案更具成本效益。
-
新的机器遗忘方法Unmerge和ReGUn提高了效率和数据隐私
研究人员开发了两种新的机器遗忘方法，该过程可以在不完全重新训练的情况下从训练模型中移除特定数据的影响。第一种方法Unmerge将遗忘重新构建为任务算术，通过减去学习到的遗忘分量来恢复原始任务向量。该技术在各种模型和数据集上都显示出效率和有效性，提高了性能指标并降低了遗忘的难度。第二种方法是参考引导遗忘（ReGUn），它侧重于分布不可区分性，利用保留的样本引导模型在遗忘数据上的预测行为接近真正未见过的数据。
-
新SCALPEL方法实现选择性AI模型遗忘
研究人员开发了SCALPEL，一种新颖的对比稀疏自编码器，用于选择性机器学习遗忘。该方法旨在从AI模型中移除特定信息，例如GDPR下的个人数据，同时保留模型的整体能力。SCALPEL解决了现有提取方法中阻碍选择性的能量偏差问题，理论上可以促进目标特定特征并控制背景知识扰动。在Qwen、Llama和Gemma模型上的实验结果表明，SCALPEL的性能优于NMF和SAE等标准技术，并与Gradient Difference和RMU等方法具有竞争力。
-
机器遗忘技术降低了音频语言模型的隐私风险
研究人员开发并评估了几种用于语音问答大型音频语言模型（LALMs）的机器遗忘策略。这些方法包括梯度上升、任务算术和基于对齐的微调，旨在从LALMs中移除敏感信息，同时保留其核心语音理解和问答能力。实验表明，这些遗忘技术可以将隐私泄露显著降低高达80%，同时对非私有语音问答和通用语音理解任务的性能影响极小。
-
新的GRIN+框架增强了不平衡医学数据的机器遗忘能力
研究人员开发了GRIN+，一个专为不平衡医学数据集设计的新型机器遗忘框架。该框架解决了从深度学习模型中移除敏感患者数据同时保留关键临床知识（特别是针对罕见病）的挑战。GRIN+分析梯度贡献，将遗忘特定知识与通用表示分离开来，并使用类自适应影响评分机制来纠正梯度主导问题。在皮肤癌、脑肿瘤和乳腺超声数据集上的基准测试表明，GRIN+在隐私、效用和效率之间取得了良好的平衡，优于现有方法。
-
机器学习遗忘评估受 BatchNorm 伪影影响而存在缺陷
研究人员发现机器学习遗忘评估中存在一个显著的伪影，尤其影响使用 BatchNorm（批量归一化）的模型。这种被称为“BatchNorm 幻觉”的伪影，可以在不改变任何权重的情况下，通过在单次前向传播中改变模型的归一化状态，来逆转明显的遗忘指标。研究表明，这种幻觉可以将遗忘准确率提高多达 78 个百分点，并且可以通过使用 GroupNorm 代替 BatchNorm 来缓解。研究结果表明，由于这种测量偏差，先前的评估可能高估了遗忘方法的有效性。
-
新方法应对表格数据遗忘挑战
研究人员推出了一种名为冲突感知遗忘（CAU）的新颖方法，旨在解决表格数据机器学习遗忘的独特挑战。与其它数据类型不同，表格数据存在“遗忘-保留干扰”问题，即删除特定数据点会因共享属性和范围而无意中影响相关的保留数据。CAU通过选择性地放宽与待遗忘数据冲突的保留行的保留约束来解决此问题，从而在保持预测性能的同时提高遗忘的准确性。
-
探索机器遗忘概念以实现人工智能的永恒学习
Reddit的r/MachineLearning板块的一位用户提出了“机器遗忘”的概念，作为实现人工智能模型永恒学习的一种方法。该想法提出，人工智能可以被训练来遗忘或丢弃旧信息，从而为新数据腾出参数空间，形成一个持续学习和更新的循环。这种比喻为“替换箱子中腐烂的水果”的假设过程，有可能使人工智能系统克服参数限制，实现无限学习能力。
-
新研究揭示了大型语言模型中的隐私-幻觉权衡和遗忘漏洞
两篇新提交至arXiv的研究论文探讨了大型语言模型（LLMs）中的关键隐私挑战。第一篇论文研究了差分隐私LLMs中的隐私与事实准确性之间的权衡，发现更严格的隐私措施可能导致更多的幻觉。第二篇论文检查了机器遗忘技术的有效性，揭示了当前方法可能无法完全删除敏感信息，并且容易受到恢复尝试的攻击。
-
比较用于噪声标签校正的机器遗忘策略
一项新近发表在arXiv上的研究探讨了各种机器遗忘（MU）策略在纠正深度神经网络中噪声标签方面的有效性。研究人员比较了五种MU方法——NegGrad、微调（FT）、随机标注（RL）、SalUn和MUNBa——在不同类型的噪声下，包括对称噪声、非对称噪声、实例相关噪声和开放集噪声。研究结果表明，最佳的遗忘策略取决于具体的噪声结构，在大多数闭集场景下，简单的微调表现良好。RL和SalUn等鲁棒方法在计算成本显著降低的情况下，尤其是在实例相…
-
新研究探索先进的机器学习遗忘技术 · 追踪4个来源
研究人员正在开发新的机器学习遗忘方法，即从AI模型中移除特定数据或知识的过程。一种名为源无关类别遗忘审计（SFRA）的方法，专注于在无法访问原始训练数据的情况下，利用合成探针和置信度过滤来恢复已遗忘类别的模型。另一种方法，CONfession-to-Forget-Set（CONFS），通过构建与模型对齐的遗忘集来解决大型语言模型（LLMs）中的遗忘集不对齐问题，以提高隐私性和可用性。此外，GRACE（梯度引导核心集选择）解决了从有限示…
-
新基准SciUnlearn解决了大型语言模型中过时科学主张的问题
研究人员引入了一个名为SciUnlearn的新基准，以应对从大型语言模型中移除过时科学主张的挑战。目前的机器遗忘方法对于主张级别的知识移除来说是不够的，通常只能表面上抑制信息。这项工作强调了需要专门的技术来有效地从大型语言模型中消除过时的科学知识，同时保持其整体效用。
-
模型“反学习”：让AI模型遗忘的艰难任务
模型“反学习”（Machine unlearning）是指在不完全重新训练的情况下，让AI模型遗忘特定数据的过程，这是一个复杂的挑战。这对于法律合规、移除敏感信息或减轻对抗性攻击至关重要。其难点在于神经网络权重的纠缠特性，单个数据点的影响会扩散到数十亿个参数中，因此在不损害模型整体效用的情况下进行选择性移除，仍然是一个持续的研究难题。
-
新框架利用机器学习遗忘实现成本高效的大语言模型偏好对齐
研究人员开发了一个新框架，将机器学习遗忘技术与大语言模型（LLMs）的偏好对齐相结合。该方法旨在降低传统方法（如基于人类反馈的强化学习 RLHF）的成本和计算强度，后者需要大量的正偏好数据。所提出的名为 Unlearning to Align (U2A) 的方法，通过使用双层优化来选择和加权负面示例，以实现高效地移除负面示例的影响，从而达到最佳性能。实验已证实 U2A 在改善偏好对齐方面的有效性。
-
机器学习遗忘方法在验证和有效性方面面临挑战
机器学习遗忘是指在不完全重新训练的情况下，从已训练模型中移除特定数据影响的过程，但它在验证其有效性方面面临重大挑战。当前方法难以明确证明数据已被移除，因为信息通常可以通过不同的措辞、语言或输出格式来访问。虽然通过像SISA（分片、独立、作用域、聚合）训练这样的技术可以实现精确遗忘，但这种方法成本高昂且会影响模型质量，对于已经训练好的前沿模型来说不切实际。近似方法更为常见，但缺乏稳健的评估，因为证明知识的缺失比证明其存在更困难。
-
新框架通过模式连通性分析机器遗忘
研究人员引入了一个名为“遗忘中的模式连通性”（MCU）的新框架，以更好地理解机器遗忘的过程。该方法分析了经过良好训练的模型如何在特定数据被移除后，仍能通过其参数空间中的平滑路径连接起来。研究发现，遗忘后的模型通常位于连通的盆地中，表现出平滑的保留和遗忘行为，尽管训练动态的变化可以将解决方案转移到不同的盆地。MCU还强调，同一盆地内的模型在隐私指标上可能存在差异，并且遗忘是一个非线性过程。
-
新研究通过模式连通性探索机器遗忘
一篇新论文通过检查模式连通性来探索机器遗忘，模式连通性是指独立训练的模型可以通过参数空间中的平滑路径连接的现象。研究人员引入了“遗忘中的模式连通性”（MCU）来分析这一点，发现被遗忘的模型通常位于具有可预测保留/遗忘行为的连通盆地中。该研究还强调，同一盆地内的模型在隐私指标上可能存在显著差异，并且MCU平滑度与遗忘难度相关。
-
新的DECAF方法增强了机器学习的去学习能力，以抵御聚类攻击
研究人员开发了DECAF（DE-Clustering for Adaptive Forgetting），一种新颖的后验机器学习去学习方法，旨在防止通过聚类攻击进行数据恢复。该方法仅作用于数据的“遗忘集”，利用输入噪声、置信度抑制和基于熵的输出多样化来拆解与已移除数据相关的残余特征空间结构。在CIFAR-10数据集和ResNet-18模型上的实验证明了DECAF的有效性，遗忘类别的准确率达到0.10%，保留类别的准确率达到79.4%，并…
-
首次发布 Vision Transformers 的机器遗忘基准测试
一篇新的研究论文介绍了首个专门为 Vision Transformers (VTs) 设计的机器遗忘 (MU) 基准测试。该研究弥补了 MU 研究的空白，因为该领域的研究主要集中在卷积神经网络 (CNNs) 上，而不是计算机视觉中日益流行的 VTs。该基准测试采用了各种数据集、MU 算法和协议，为比较 VTs 上 MU 算法的性能提供了一种标准化且可复现的方法，为未来的研究奠定了参考基线。
-
新研究将机器遗忘重构为分布恢复
一篇新的研究论文提出了一种新颖的机器遗忘方法，将其重构为分布恢复，而不是简单的知识匹配。研究发现，常见的评估方法可能会错误地偏袒那些保留而非遗忘特定数据的遗忘技术。研究人员开发了一种无神谕的选择性筛选器，能够有效地识别已真正遗忘信息的模型，并在受控测试中证明了其优于现有方法。