LLaDA~2.1
PulseAugur coverage of LLaDA~2.1 — every cluster mentioning LLaDA~2.1 across labs, papers, and developer communities, ranked by signal.
-
新方法将线性注意力改造到扩散语言模型中以加速其运行
研究人员开发了一种将线性注意力改造到扩散语言模型（dLLMs）中的方法，以加速推理。这种名为块混合注意力（block-hybrid attention）的新方法将精确的softmax注意力与活动去噪块结合，并对之前的块应用线性注意力。当应用于LLaDA~2.1模型并生成LLaDA-Hybrid时，它实现了高达1.7倍的解码吞吐量提升，并提高了内存效率，同时在HumanEval和MBPP+等基准测试中性能没有明显下降。
-
FlowBlock 框架通过并行处理加速扩散式大语言模型解码
研究人员开发了 FlowBlock，一个新颖的无需训练的框架，旨在加速扩散式大语言模型 (dLLMs) 的解码过程。该方法通过允许块并行处理信息，而不是严格按顺序处理，引入了并行解码。FlowBlock 实现了显著的加速，比 LLaDA-2.0 等现有模型快 4.01 倍，同时还提高了准确性并降低了延迟。
-
新的解码方法提高了扩散语言模型的速度和准确性
研究人员开发了新的方法来加速扩散语言模型（dLLMs）的解码过程。一篇论文中提出的FlowBlock使用“门控波前解码”和“异构波前打包”的无需训练的方法，与现有的串行方法相比，实现了显著的速度提升和准确性改进。另一篇论文介绍了AdaLook，一个自适应多步前瞻框架，它根据解码状态动态调整其探索深度，优于简单的单步前瞻技术。
-
顺序无关语言模型显示出顺序依赖的似然度
研究人员发现，顺序无关语言模型（OALMs）不能完美地分解联合分布，这意味着标记的揭示顺序会影响生成的似然度，最高可达0.49 nats/token。虽然置信度优先解码是顺序无关的，但其标记揭示顺序与从左到右生成非常相似。该研究还提出了一种基于置信度轨迹方差的新诊断工具，表明均匀的置信度扩散最大化了目标可恢复性，并且较低的方差与较高的下游正确性相关。