实体
RWKU
RWKU
PulseAugur coverage of RWKU — every cluster mentioning RWKU across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新方法在持续遗忘LLM时保留其效用
研究人员开发了持续正交投影（COP）方法，这是一种无需完全重新训练即可从大型语言模型（LLM）中遗忘数据的全新方法。现有方法在顺序遗忘方面存在困难，导致数据遗忘和模型效用均下降。COP通过将更新投影到与先前遗忘数据正交的子空间上来解决此问题，确保每次删除都不会干扰先前的遗忘。在TOFU和RWKU基准上的实验表明，COP在多次遗忘请求中能有效保留模型效用并增强遗忘效果。
-
LLM 知识遗忘研究探讨奖励规范挑战
一篇新研究论文探讨了从大型语言模型中遗忘特定知识的复杂性，同时保持其通用效用。该研究在 LoRA-GRPO RWKU 环境下进行，比较了四种不同的奖励设计，以应对确保模型在回答广泛主题提示时不会泄露目标信息的挑战。研究结果表明，优化成功并不总是等同于行为遗忘，因为各种评估方法可能得出相互矛盾的结论。