absorbing-mask DLMs

新研究分析 dLLM 感应并引入新颖的训练方法

两篇新研究论文探讨了扩散大型语言模型（dLLM）的机制和训练。第一篇论文介绍了基于轨迹的策略内蒸馏（TOPD）框架，该框架通过监督 dLLM 自身的去噪轨迹来提高其推理能力，在数学基准测试中取得了具有竞争力的准确率，同时显著降低了计算量。第二篇论文对 dLLM 中的上下文内学习进行了机制分析，揭示了一个利用过去和未来上下文的双向感应电路，在可用双向上下文时优于自回归模型。