研究人员开发了一种新的基于插入的掩码扩散模型,称为 $\delta$MDM,它通过允许对中间输出进行纠错来改进序列生成。与之前的生成决策不可逆的模型不同,$\delta$MDM 结合了替换和删除操作,使其能够修改或删除先前生成的标记。这种纠错机制允许更积极的解码,从而缩短推理时间和提高输出质量。与 FlexMDM 等现有方法相比,该模型在无条件文本生成任务和 TinyGSM 等条件任务上均表现出优越的性能。 AI
影响 引入了一种新颖的序列生成方法,通过实现错误纠正来提高速度和质量。
排序理由 这是一篇详细介绍新模型架构及其性能改进的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- $\delta$MDM
- FlexMDM
- Gotit.pub
- GSM8k
- Hugging Face
- IArxiv
- OpenWebText
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →