实体
reversal curse
reversal curse
PulseAugur coverage of reversal curse — every cluster mentioning reversal curse across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新理论解释了 Masked Diffusion Models 如何克服反转诅咒
一项新的理论分析解释了为什么 Masked Diffusion Models (MDMs) 在处理反转诅咒方面优于自回归语言模型 (ARMs)。反转诅咒是指模型在学习了“A 是 B”之后，难以回答“B 是 A”之类的反向查询。研究表明，MDMs 恢复信息的能力源于 Transformer 架构中的参数级耦合。共享参数存储了 token 对的证据，而位置编码则引导注意力，从而使前向训练能够加强可用于反向查询的证据。
-
新的微调方法可在不改写的情况下增强LLM知识注入
研究人员开发了一种名为扩散启发式掩码微调（DMT）的新型微调方法，用于自回归大型语言模型（LLM）。该技术旨在改进事实知识向LLM的注入，解决了对计算成本高昂的改写和逆转诅咒的依赖等问题。实验表明，DMT显著提高了知识注入的效率，在无需改写的情况下即可达到扩散LLM的性能，并展示了其在包括数学在内的各种任务中的广泛适用性。