Sangwoo Shin

新理论解释了 Masked Diffusion Models 如何克服反转诅咒

一项新的理论分析解释了为什么 Masked Diffusion Models (MDMs) 在处理反转诅咒方面优于自回归语言模型 (ARMs)。反转诅咒是指模型在学习了“A 是 B”之后，难以回答“B 是 A”之类的反向查询。研究表明，MDMs 恢复信息的能力源于 Transformer 架构中的参数级耦合。共享参数存储了 token 对的证据，而位置编码则引导注意力，从而使前向训练能够加强可用于反向查询的证据。