研究人员开发了一种名为掩码感知策略梯度的新方法，以增强扩散语言模型（DLMs）的推理能力。该方法通过准确估计对数似然，解决了将强化学习应用于掩码扩散语言模型（MDLMs）的挑战。该技术将生成过程形式化为两阶段动作马尔可夫决策过程，优化了token放置和掩码决策。这种双重优化在数学推理和编码基准测试中取得了最先进的结果，在GSM8K上达到87.1%，在MBPP上达到53.4%。 AI
影响 这种新方法可以显著提高扩散语言模型的推理能力，从而在数学问题解决和代码生成等复杂任务上取得更好的性能。
排序理由 该集群包含一篇详细介绍改进语言模型新方法的学术论文。
- arXiv
- Diffusion language models
- GSM8K
- Markov decision process
- Mask-Aware Policy Gradients
- Masked Diffusion Language Models
- MBPP
- MDLMs
- reinforcement learning
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
