Tofu
PulseAugur coverage of Tofu — every cluster mentioning Tofu across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的ADU框架通过解耦注意力路径来改进LLM的遗忘能力
研究人员开发了一个名为ADU的新框架，用于从大型语言模型中遗忘信息。该方法侧重于解耦注意力路径，而不是简单地擦除标记，旨在在有效遗忘特定数据的同时保持通用效用。ADU在TOFU和WMDP等基准测试中表现强劲，在降低意外副作用的同时保持了高比例的模型效用。
-
新的大语言模型遗忘方法解决鲁棒性和效用保持问题 · 跟踪5个来源
研究人员正在开发先进的大语言模型（LLM）遗忘技术，重点关注能够抵御重新学习攻击并保持模型效用的方法。BLADE和Margin Calibration (MC)等新方法旨在提高对遗忘过程的控制力，解决灾难性遗忘和信息删除脆弱性等问题。这些方法正在各种基准和模型规模上进行评估，重点关注对抗鲁棒性，以确保通过战略性提示无法轻易恢复被遗忘的信息。
-
Claude AI建议食谱中去除肉类，用户分享经验
一位Reddit用户分享了他们的经历，他们让Claude用豆腐代替食谱中的肉类。Claude不仅进行了替换，还建议这道菜根本不需要肉类。然后，AI生成了一个食谱，标题强调以豆腐为中心、无肉的菜肴，并包含检查以确保不使用肉类。
-
新的SAUL方法改进了LLM中的机器遗忘
研究人员推出了一种新颖的机器遗忘方法SAUL（Sharpness-Aware Augmented-Lagrangian Unlearning），用于大型语言模型。SAUL将遗忘问题构建为一个约束最小化问题，解决了在不损害模型整体性能的情况下移除特定知识的挑战。该方法使用增强拉格朗日控制器来适应性地管理遗忘的压力，确保只移除必要的信息。在TOFU、WMDP和MUSE等基准测试上的评估表明，与现有方法相比，SAUL实现了更好的遗忘-效用权衡。
-
新研究将机器遗忘重构为分布恢复
一篇新的研究论文提出了一种新颖的机器遗忘方法，将其重构为分布恢复，而不是简单的知识匹配。研究发现，常见的评估方法可能会错误地偏袒那些保留而非遗忘特定数据的遗忘技术。研究人员开发了一种无神谕的选择性筛选器，能够有效地识别已真正遗忘信息的模型，并在受控测试中证明了其优于现有方法。
-
新的GUARD-IT方法在不改变参数的情况下在推理时遗忘大型语言模型
研究人员开发了一种名为GUARD-IT的新方法，用于推理时机器遗忘，旨在在不改变大型语言模型参数的情况下，移除特定数据对模型的影响。该技术使用依赖于输入的激活引导，作为残差流中的范数保持旋转，以在推理过程中修改模型行为。在TOFU和MUSE数据集上的实验表明，GUARD-IT在保持模型效用和抑制记忆方面，性能与基于梯度的方法相当或更优，同时在模型量化下仍然有效，并支持持续遗忘。
-
新的回放方法提高了 LLM 遗忘效率
一篇新的研究论文介绍了一种名为 ReRULE 的离策略回放方法，旨在提高大型语言模型（LLM）强化遗忘的效率。该技术通过存储和重用具有挑战性的数据点来解决同策略方法的低效率问题，从而将计算资源集中在最关键的学习边界上。ReRULE 方法在保持模型质量方面取得了显著的改进，同时仅略微增加了训练时间。
-
新的RAPID框架通过逐层令牌合并提高Vision Transformer效率
研究人员开发了RAPID，一个旨在提高Vision Transformer (ViTs) 计算效率的新框架。该方法根据令牌的层级特性智能地修剪和合并令牌，解决了自注意力机制的二次复杂度问题。在早期层，RAPID会移除冗余的局部模式；在更深的层，它则根据注意力权重，在保留重要令牌的同时合并不太关键的令牌。在ImageNet-1K上的实验表明，RAPID在准确率-压缩权衡方面优于现有方法，尤其是在高压缩率下。
-
新指标揭示大型语言模型（LLMs）遗忘学习方法未能完全忘记敏感数据
一篇新的研究论文介绍了一种名为“Leak@k”的指标，旨在评估大型语言模型（LLMs）中遗忘学习方法的有效性。研究发现，大多数现有的遗忘技术未能完全删除敏感信息，因为通过概率解码仍然可以检索到这些信息。为解决此问题，该论文提出了一种名为“RULE”（Robust Unlearning under LEak@k metric）的新算法，该算法在防止基准数据集上的信息泄露方面表现出改进的性能。
-
豆腐的中国古代起源与炼金术士的灵药探索有关
豆腐的起源可以追溯到中国西汉时期的古代炼金术士，他们当时正在寻找长生不老药。在尝试大豆、石膏和泉水时，他们偶然创造了豆制品，此后豆制品成为一种全球认可的食品。历史文献和考古证据支持了淮南王刘安创造豆腐的传说。
-
新的MAAT遗忘方法通过平衡基准解决“为什么”问题
研究人员推出了一种新颖的三阶段目标性机器学习遗忘框架MAAT，该框架专门解决了移除因果知识的难题。现有基准存在偏差，低估了“为什么”问题的代表性，而“为什么”问题对于评估因果和关系知识的移除至关重要。MAAT在LoRA适配器权重上运行，并采用梯度投影上升和SVD剪枝等技术来实现高遗忘率，同时保留其他知识。配套的5WBENCH基准包含“谁、什么、何时、何地、为什么”的平衡类别，首次量化了这些遗忘失败。
-
新的AI遗忘方法在数据移除和模型效用之间取得平衡
研究人员开发了新的机器学习遗忘方法，该方法可以在不完全重新训练的情况下从AI模型中移除特定数据。一种名为SHRED的方法，利用自蒸馏和Logit降级来识别和移除遗忘集中的高信息量Token，在遗忘效果和模型效用之间实现了新的帕累托最优权衡。另一种方法，保留-正交代理遗忘（ROSU），通过最大化遗忘增益同时最小化对保留目标的影响来约束遗忘过程，以保留非目标知识。对于多模态大型语言模型，一种零空间约束的对比视觉遗忘技术将目标视觉知识与保留…
-
MOCHI框架赋能无需配准的3D人脸AI捕捉
研究人员开发了MOCHI，一个新颖的框架，可以从多视角图像生成3D人脸模型，而无需手动配准的训练数据。MOCHI利用伪线性逆运动学求解器来确保拓扑一致性，并使用在合成数据上训练的2D标志点预测器进行语义对齐。该框架引入了新的点图和法线损失来提高训练稳定性和重建保真度，在准确性和视觉质量方面优于传统方法。
-
几何式遗忘使 LLM 能够以最小化的泄露移除数据
研究人员推出了一种新颖的几何式遗忘（GU）方法，无需访问原始训练数据即可选择性地从大型语言模型中移除特定信息。该方法作用于模型的内部规划状态，从少量参考提示中提炼出安全行为。然后，GU 使用合成提示将这些状态与期望的安全几何对齐，从而最大限度地减少对模型通用效用的影响。在隐私基准测试上的实验表明，GU 在使用最少量的合成数据来抑制目标信息方面非常有效。
-
Hugging Face 推出 REGLU 以实现高效 LLM 遗忘
研究人员开发了一种名为表示引导低秩遗忘（REGLU）的新方法，以解决在不损害整体性能的情况下从大型语言模型（LLM）中移除特定信息的挑战。由于在识别关键参数方面存在局限性，现有技术常常难以平衡遗忘不需要的数据和保留有用信息。REGLU 利用表示空间的几何特性和 LoRA 的新颖初始化来精确定位用于选择性遗忘的参数，同时正则化损失确保对模型保留知识的影响最小。在 TOFU 和 WMDP 等基准测试上的评估表明，REGLU 在遗忘质量和模…