Gaussian softened targets

新的DART框架改进了用于复杂任务的循环推理模型

研究人员推出了一种名为分布对抗循环训练（DART）的新型框架，旨在增强循环推理模型（RRMs）的学习能力。DART通过使用目标分布围绕正确解，并利用对抗性目标来指导模型，从而用分布式监督取代实例级监督，解决了在复杂任务上训练RRMs的挑战。这种方法提供了更丰富的学习信号，促进了更稳定的迭代计算和更高的解质量。在迷宫、国际象棋和数独等问题上进行测试时，与标签平滑和渐进式训练等现有方法相比，DART表现出更强的鲁棒性和稳定性。