Multi-Turn Reflective Masking

新的反思性掩码技术使扩散模型能够进行多轮推理

研究人员引入了反思性掩码（RM），这是一种后训练技术，使掩码扩散模型（MDMs）能够通过迭代自我修正来进行多轮推理。与顺序生成的自回归模型不同，MDMs可以自然地在本地优化输出。RM允许这些模型根据不断变化的上下文重新审视和修改先前的输出，而无需进行架构更改。该方法包含一种称为历史参考的无参数机制，以帮助模型在修改过程中避免重复错误，并在文本生成、数独和图像编辑等任务中表现出改进的性能。