SeunggeunKimkr

新方法使语言模型能够执行“任意顺序推理”

研究人员开发了新的方法，使语言模型能够执行“任意顺序推理”，这是一种非因果推理过程，类似于程序员通过在高层概念和具体细节之间切换来编写代码。现有的自回归模型由于固定的位置承诺而难以实现这一点。提出的解决方案包括基于插入的掩码扩散，它通过放松固定位置允许跨非连续区域生成；以及潜在空间掩码扩散，它将预测转移到更粗粒度的语义片段，以搜索生成顺序。这些方法在 Python 编码和 GSM8K 基准测试等任务上表现出改进的性能。