LLaDA 8B Instruct
PulseAugur coverage of LLaDA 8B Instruct — every cluster mentioning LLaDA 8B Instruct across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的离散倾斜匹配方法微调掩码扩散大语言模型
研究人员推出了一种新颖的微调掩码扩散大语言模型（dLLMs）的方法，称为离散倾斜匹配（DTM）。DTM通过将dLLM微调重构为局部解掩码后验的状态级匹配，解决了强化学习中序列级边际似然的棘手问题。这种方法产生了一个可以明确最小化的加权交叉熵目标，并允许使用控制变量来提高训练稳定性。在合成迷宫规划任务上的实验以及与LLaDA-8B-Instruct的规模化评估表明，DTM在提高数独和Countdown等任务的性能方面非常有效，同时在数学…
-
新的采样方法稳定了大型语言模型的低精度强化学习
研究人员开发了自适应重要性采样（AIS）技术，以解决在大型语言模型强化学习中使用低精度 rollout 导致的训练不稳定性问题。该技术根据实时诊断动态调整梯度校正，平衡探索收益与偏差减少。当与 LLaDA-8B-Instruct 和 Qwen3 系列等模型集成时，AIS 在保持显著的低精度生成速度优势的同时，性能与更高精度的训练相当。
-
新研究探索用于抵抗攻击的扩散模型鲁棒水印技术
新研究探讨了生成式AI模型中水印的漏洞和潜在防御措施。一项研究表明，多步重写攻击会显著降低扩散语言模型中水印的检测率，在几次编辑后使其失效。另一篇论文从理论上分析了水印在对抗符号损坏方面的鲁棒性极限，表明在检测变得不可靠之前，超过一半的编码比特可以被修改。此外，研究还为扩散模型引入了新颖的水印方法，包括一种使用压缩感知的抗伪造方法以及一个用于评估安全性、鲁棒性和保真度的理论基础框架。