Reflective Masking

新的反射掩码技术增强了扩散模型的推理能力

研究人员推出了一种名为反射掩码（RM）的新型训练后技术，旨在增强掩码扩散模型（MDMs）的推理能力。与依赖顺序生成的自回归模型不同，RM允许MDMs通过多轮掩码和去噪迭代地改进先前的输出，类似于人类纠错。该方法包含历史参考（History Reference），一种无参数机制，利用中间去噪状态从先前的轮次中汲取见解。这种方法无需架构更改，并在文本生成、数独和图像编辑等各种任务中展示了持续的性能提升，将RM定位为MDM推理的基础要素。