LLaDA 8B Instruct
PulseAugur coverage of LLaDA 8B Instruct — every cluster mentioning LLaDA 8B Instruct across labs, papers, and developer communities, ranked by signal.
-
研究详细介绍了更快扩散语言模型的服务挑战
一篇新的 arXiv 研究论文探讨了服务掩码扩散语言模型（dLLM）的挑战，dLLM 通过同时去噪多个 token，可以比传统的自回归模型更快地生成文本。该研究使用 NVIDIA H200 GPU 上的 LLaDA-8B-Instruct 和 D2F LoRA 适配器，发现请求的难度是离散的，而不是连续的，请求分为 11 个固定的步数级别。具有较短生成预算的基准测试可能会低估服务方差，并且相当一部分挂钟时间花在 CPU 端的分发开销上…
-
扩散语言模型通过新的效率和安全技术取得进展 · 跟踪 10 个来源
近期研究探讨了扩散语言模型（DLM）的进展，重点在于提高其效率、安全性和能力。论文介绍了 Q-Skew 等方法，用于隐私风险评估和个人身份信息（PII）提取；以及通过识别早期去噪步骤中的拒绝信号来增强安全对齐的 Refusal-Aware Early Commitment (RAEC)。CARVE 和 Survival-Guided Length Decoding 等技术旨在优化生成长度和降低计算成本，而 Affix Cache 和 …
-
新方法加速Diffusion LLM，解决速度-质量权衡问题 · 跟踪3个来源
研究人员正在开发新的方法来加速Diffusion大型语言模型（dLLM），由于其序列长度缩放，这些模型计算量很大。两个新框架Dynamic-dLLM和Streaming-dLLM旨在提高推理速度而不牺牲生成质量。Dynamic-dLLM使用自适应缓存预算和并行解码，而Streaming-dLLM采用后缀修剪和带有早期退出机制的动态解码。另一项研究ParallelBench强调了dLLM并行解码的权衡，揭示了在现实场景中质量的显著下降以…
-
新的离散倾斜匹配方法微调掩码扩散大语言模型
研究人员推出了一种新颖的微调掩码扩散大语言模型（dLLMs）的方法，称为离散倾斜匹配（DTM）。DTM通过将dLLM微调重构为局部解掩码后验的状态级匹配，解决了强化学习中序列级边际似然的棘手问题。这种方法产生了一个可以明确最小化的加权交叉熵目标，并允许使用控制变量来提高训练稳定性。在合成迷宫规划任务上的实验以及与LLaDA-8B-Instruct的规模化评估表明，DTM在提高数独和Countdown等任务的性能方面非常有效，同时在数学…
-
新的采样方法稳定了大型语言模型的低精度强化学习
研究人员开发了自适应重要性采样（AIS）技术，以解决在大型语言模型强化学习中使用低精度 rollout 导致的训练不稳定性问题。该技术根据实时诊断动态调整梯度校正，平衡探索收益与偏差减少。当与 LLaDA-8B-Instruct 和 Qwen3 系列等模型集成时，AIS 在保持显著的低精度生成速度优势的同时，性能与更高精度的训练相当。
-
新研究探索用于抵抗攻击的扩散模型鲁棒水印技术
新研究探讨了生成式AI模型中水印的漏洞和潜在防御措施。一项研究表明，多步重写攻击会显著降低扩散语言模型中水印的检测率，在几次编辑后使其失效。另一篇论文从理论上分析了水印在对抗符号损坏方面的鲁棒性极限，表明在检测变得不可靠之前，超过一半的编码比特可以被修改。此外，研究还为扩散模型引入了新颖的水印方法，包括一种使用压缩感知的抗伪造方法以及一个用于评估安全性、鲁棒性和保真度的理论基础框架。