LLM Unlearning
PulseAugur coverage of LLM Unlearning — every cluster mentioning LLM Unlearning across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Nullify 方法提供免训练大模型遗忘
研究人员推出了一种新颖的大模型遗忘方法 Nullify，旨在无需重新训练模型即可移除敏感信息。这种免训练方法在推理过程中使用激活引导来重定向不想要的知识，同时零空间约束确保其他功能不受影响。在 TOFU 和 MUSE 基准上的实验表明，Nullify 在有效移除特定数据的同时保留了模型的效用，提供了一种高效、即插即用的解决方案。
-
新的 LLM 研究解决了遗忘、加速、服务和评估问题
多篇研究论文探讨了大语言模型（LLM）能力和效率方面的进展。“Nullify” 提出了一种无需训练的方法，可以在不影响效用的情况下从 LLM 中遗忘敏感信息。DynaTE 提出了一种硬件-软件协同设计，通过动态调整基于 token 状态的执行来加速扩散 LLM。Mooncake 提供了一种用于 LLM 服务的解耦架构，优化 KVCache 利用率以提高吞吐量并满足延迟要求。其他研究则侧重于可复现的 LLM 推理基准测试、来自隐式反馈的…
-
新研究探索先进的机器学习遗忘技术 · 追踪4个来源
研究人员正在开发新的机器学习遗忘方法，即从AI模型中移除特定数据或知识的过程。一种名为源无关类别遗忘审计（SFRA）的方法，专注于在无法访问原始训练数据的情况下，利用合成探针和置信度过滤来恢复已遗忘类别的模型。另一种方法，CONfession-to-Forget-Set（CONFS），通过构建与模型对齐的遗忘集来解决大型语言模型（LLMs）中的遗忘集不对齐问题，以提高隐私性和可用性。此外，GRACE（梯度引导核心集选择）解决了从有限示…