研究人员开发了一种名为随机重掩码-去噪(R$^2$D)的新型推理技术,用于掩码扩散模型(MDMs)。该方法将MDM推理重新构建为马尔可夫链,并引入重掩码-去噪核来分析生成轨迹。R$^2$D是一种测试时、无需微调的程序,可应用于现有模型。此外,还提出了轨迹校正训练(TCT)方法,通过让模型暴露于自身错误来改进去噪器训练。该方法在逻辑任务上显示出显著的性能提升,在数独和3-SAT上实现了高精度,并且与现有的迭代校正方法和LLaDA2.1-mini相比,在语言任务上的性能也有所提高。 AI
影响 引入了一种新颖的推理方法,显著提高了掩码扩散模型在逻辑和语言任务上的性能。
排序理由 详细介绍掩码扩散模型新推理技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Hugging Face
- HumanEval
- LLaDA2.1-mini
- Masked Diffusion Models
- Random Remask-Denoise
- Random Remasking Scales Masked Diffusion Inference
- Trajectory Correction Training
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →