研究人员开发了新的方法,使语言模型能够执行“任意顺序推理”,这是一种非因果推理过程,类似于程序员通过在高层概念和具体细节之间切换来编写代码。现有的自回归模型由于固定的位置承诺而难以实现这一点。提出的解决方案包括基于插入的掩码扩散,它通过放松固定位置允许跨非连续区域生成;以及潜在空间掩码扩散,它将预测转移到更粗粒度的语义片段,以搜索生成顺序。这些方法在 Python 编码和 GSM8K 基准测试等任务上表现出改进的性能。 AI
影响 增强了语言模型在代码生成等复杂推理任务中的能力,有可能提高在专业应用中的性能。
排序理由 该集群描述了一篇新的研究论文,其中详细介绍了用于改进语言模型推理能力的新颖方法。
在 Hugging Face Daily Papers 阅读 →
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- FlexMDM
- Gotit.pub
- GSM8K
- Hugging Face
- IArxiv
- Influence Flower
- Kim et al. reply
- LatentMDM
- Python
- ScienceCast
- SeunggeunKimkr
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →