PulseAugur
中
实时 06:19:39
English(EN) Machine Unlearning for Masked Diffusion Language Models

新的遗忘方法针对扩散语言模型

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种名为掩码扩散遗忘（MDU）的新型框架，旨在从掩码扩散语言模型（MDLM）中移除特定知识。与传统的自回归模型不同，MDLM通过对掩码位置去噪来并行生成文本。MDU将遗忘过程适应于这种基于扩散的生成，旨在将模型预测从特定学习信息中转移出来，同时保持效用。实验表明MDU在MDLM遗忘方面是有效的，并且优于现有方法。 AI

影响 引入了一种控制基于扩散的语言模型中知识的新技术，有望提高隐私和安全性。

排序理由 该集群包含一篇学术论文，提出了一种针对特定类型语言模型的新型机器遗忘方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的遗忘方法针对扩散语言模型

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Woojin Lee ·

    Masked Diffusion Language Models 的机器遗忘

    Recent masked diffusion language models (MDLMs), such as LLaDA and Dream, have achieved performance comparable to autoregressive large language models. Unlike autoregressive models, which generate text sequentially, MDLMs generate text by iteratively denoising masked positions in…

相关实体

相关话题