研究人员开发了GRACE,一种新颖的LLM遗忘方法,解决了从有限示例中推断遗忘集和保留集所面临的挑战。GRACE利用梯度引导来构建这些集合,首先从种子示例中识别遗忘方向,然后选择一个紧凑的遗忘共核。为了保持模型效用,它通过投影出遗忘方向并采用聚类正交匹配追踪来选择保留示例。跨越不同领域和模型的实验表明,GRACE在保持遗忘质量的同时提高了模型效用,优于以前的基于梯度的选择技术。 AI
影响 这项研究提供了一种更有效、更可靠的LLM遗忘方法,有望改善数据隐私和模型控制。
排序理由 该集群包含一篇详细介绍LLM遗忘新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- clustered orthogonal matching pursuit
- GRACE
- Hugging Face
- large-language models
- machine unlearning
- non-negative orthogonal matching pursuit
- Praveen Bushipaka
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →