Tofu
PulseAugur coverage of Tofu — every cluster mentioning Tofu across labs, papers, and developer communities, ranked by signal.
-
新的回放方法提高了 LLM 遗忘效率
一篇新的研究论文介绍了一种名为 ReRULE 的离策略回放方法，旨在提高大型语言模型（LLM）强化遗忘的效率。该技术通过存储和重用具有挑战性的数据点来解决同策略方法的低效率问题，从而将计算资源集中在最关键的学习边界上。ReRULE 方法在保持模型质量方面取得了显著的改进，同时仅略微增加了训练时间。
-
新的RAPID框架通过逐层令牌合并提高Vision Transformer效率
研究人员开发了RAPID，一个旨在提高Vision Transformer (ViTs) 计算效率的新框架。该方法根据令牌的层级特性智能地修剪和合并令牌，解决了自注意力机制的二次复杂度问题。在早期层，RAPID会移除冗余的局部模式；在更深的层，它则根据注意力权重，在保留重要令牌的同时合并不太关键的令牌。在ImageNet-1K上的实验表明，RAPID在准确率-压缩权衡方面优于现有方法，尤其是在高压缩率下。
-
新指标揭示大型语言模型（LLMs）遗忘学习方法未能完全忘记敏感数据
一篇新的研究论文介绍了一种名为“Leak@k”的指标，旨在评估大型语言模型（LLMs）中遗忘学习方法的有效性。研究发现，大多数现有的遗忘技术未能完全删除敏感信息，因为通过概率解码仍然可以检索到这些信息。为解决此问题，该论文提出了一种名为“RULE”（Robust Unlearning under LEak@k metric）的新算法，该算法在防止基准数据集上的信息泄露方面表现出改进的性能。
-
豆腐的中国古代起源与炼金术士的灵药探索有关
豆腐的起源可以追溯到中国西汉时期的古代炼金术士，他们当时正在寻找长生不老药。在尝试大豆、石膏和泉水时，他们偶然创造了豆制品，此后豆制品成为一种全球认可的食品。历史文献和考古证据支持了淮南王刘安创造豆腐的传说。
-
新的MAAT遗忘方法通过平衡基准解决“为什么”问题
研究人员推出了一种新颖的三阶段目标性机器学习遗忘框架MAAT，该框架专门解决了移除因果知识的难题。现有基准存在偏差，低估了“为什么”问题的代表性，而“为什么”问题对于评估因果和关系知识的移除至关重要。MAAT在LoRA适配器权重上运行，并采用梯度投影上升和SVD剪枝等技术来实现高遗忘率，同时保留其他知识。配套的5WBENCH基准包含“谁、什么、何时、何地、为什么”的平衡类别，首次量化了这些遗忘失败。
-
新的AI遗忘方法在数据移除和模型效用之间取得平衡
研究人员开发了新的机器学习遗忘方法，该方法可以在不完全重新训练的情况下从AI模型中移除特定数据。一种名为SHRED的方法，利用自蒸馏和Logit降级来识别和移除遗忘集中的高信息量Token，在遗忘效果和模型效用之间实现了新的帕累托最优权衡。另一种方法，保留-正交代理遗忘（ROSU），通过最大化遗忘增益同时最小化对保留目标的影响来约束遗忘过程，以保留非目标知识。对于多模态大型语言模型，一种零空间约束的对比视觉遗忘技术将目标视觉知识与保留…
-
MOCHI框架赋能无需配准的3D人脸AI捕捉
研究人员开发了MOCHI，一个新颖的框架，可以从多视角图像生成3D人脸模型，而无需手动配准的训练数据。MOCHI利用伪线性逆运动学求解器来确保拓扑一致性，并使用在合成数据上训练的2D标志点预测器进行语义对齐。该框架引入了新的点图和法线损失来提高训练稳定性和重建保真度，在准确性和视觉质量方面优于传统方法。
-
几何式遗忘使 LLM 能够以最小化的泄露移除数据
研究人员推出了一种新颖的几何式遗忘（GU）方法，无需访问原始训练数据即可选择性地从大型语言模型中移除特定信息。该方法作用于模型的内部规划状态，从少量参考提示中提炼出安全行为。然后，GU 使用合成提示将这些状态与期望的安全几何对齐，从而最大限度地减少对模型通用效用的影响。在隐私基准测试上的实验表明，GU 在使用最少量的合成数据来抑制目标信息方面非常有效。
-
Hugging Face 推出 REGLU 以实现高效 LLM 遗忘
研究人员开发了一种名为表示引导低秩遗忘（REGLU）的新方法，以解决在不损害整体性能的情况下从大型语言模型（LLM）中移除特定信息的挑战。由于在识别关键参数方面存在局限性，现有技术常常难以平衡遗忘不需要的数据和保留有用信息。REGLU 利用表示空间的几何特性和 LoRA 的新颖初始化来精确定位用于选择性遗忘的参数，同时正则化损失确保对模型保留知识的影响最小。在 TOFU 和 WMDP 等基准测试上的评估表明，REGLU 在遗忘质量和模…