三篇新研究论文介绍了提高扩散语言模型(DLM)效率和准确性的新颖技术。RISA 是一种可恢复的稀疏注意力方法,通过优化块状 DLM 的历史键值缓存处理来提高其推理速度。ReMaRL 是一种强化学习方法,用于训练一个轻量级策略,以智能地对冻结的 DLM 中的 token 进行解掩码和重新掩码,从而提高最终答案的准确性。最后,一种用于掩码扩散语言模型(MDLM)的方差缩减的训练后方法确保每个块仅被评估一次,显著降低了估计方差并提高了在各种基准测试上的性能。 AI
影响 注意力机制和 token 掩码方面的这些进展可能带来更高效、更准确的大型语言模型,尤其是在需要长上下文或复杂生成任务的场景下。
排序理由 三篇发表在 arXiv 上的学术论文,详细介绍了扩散语言模型的新方法。
- alphaXiv
- arXiv
- CatalyzeX Code Finder for Papers
- CORE Recommender
- DagsHub
- Evidence Lower Bound
- Gotit.pub
- Hugging Face
- Masked Diffusion Language Models
- MDLMs
- Monte Carlo
- ScienceCast
- DreamReasoner-8B
- LLaDA 8B Instruct
- ReMaRL
- RISA
AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →