研究人员为掩码扩散语言模型(MDLM)开发了一种新的后训练方法,称为全块估计器。该方法解决了先前蒙特卡洛方法因随机采样块进行评估而引入的方差问题。所提出的估计器确保每个块都只被评估一次,理论上可以减少方差并提高准确性。实验表明,该方法在五个基准测试中的四个上取得了更高的准确性,平均比基线高出12.79分。 AI
影响 这项研究可能有助于提高扩散语言模型在编码和数学等任务上的训练准确性和效率。
排序理由 该集群包含一篇详细介绍语言模型新训练方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX Code Finder for Papers
- CORE Recommender
- DagsHub
- Evidence Lower Bound
- Gotit.pub
- Hugging Face
- Masked Diffusion Language Models
- MDLMs
- Monte Carlo
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →