WMDP
PulseAugur coverage of WMDP — every cluster mentioning WMDP across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的仅API LLM遗忘框架解决了数据移除挑战
研究人员开发了一个名为受控行为分歧（CBD）的新框架，以解决从仅通过API访问的大型语言模型（LLM）中遗忘数据的挑战。CBD使用辅助模型在保留数据和目标数据之间创建分歧，将其转换为遗忘分数，以将不需要的提示从LLM中路由出去。该方法旨在在有效移除敏感或过时信息的同时，保持模型的效用，即使目标数据和保留数据具有相似的结构。
-
新指标揭示大型语言模型（LLMs）遗忘学习方法未能完全忘记敏感数据
一篇新的研究论文介绍了一种名为“Leak@k”的指标，旨在评估大型语言模型（LLMs）中遗忘学习方法的有效性。研究发现，大多数现有的遗忘技术未能完全删除敏感信息，因为通过概率解码仍然可以检索到这些信息。为解决此问题，该论文提出了一种名为“RULE”（Robust Unlearning under LEak@k metric）的新算法，该算法在防止基准数据集上的信息泄露方面表现出改进的性能。
-
新的AI遗忘方法在数据移除和模型效用之间取得平衡
研究人员开发了新的机器学习遗忘方法，该方法可以在不完全重新训练的情况下从AI模型中移除特定数据。一种名为SHRED的方法，利用自蒸馏和Logit降级来识别和移除遗忘集中的高信息量Token，在遗忘效果和模型效用之间实现了新的帕累托最优权衡。另一种方法，保留-正交代理遗忘（ROSU），通过最大化遗忘增益同时最小化对保留目标的影响来约束遗忘过程，以保留非目标知识。对于多模态大型语言模型，一种零空间约束的对比视觉遗忘技术将目标视觉知识与保留…
-
Hugging Face 推出 REGLU 以实现高效 LLM 遗忘
研究人员开发了一种名为表示引导低秩遗忘（REGLU）的新方法，以解决在不损害整体性能的情况下从大型语言模型（LLM）中移除特定信息的挑战。由于在识别关键参数方面存在局限性，现有技术常常难以平衡遗忘不需要的数据和保留有用信息。REGLU 利用表示空间的几何特性和 LoRA 的新颖初始化来精确定位用于选择性遗忘的参数，同时正则化损失确保对模型保留知识的影响最小。在 TOFU 和 WMDP 等基准测试上的评估表明，REGLU 在遗忘质量和模…