next-token prediction

研究论文详细介绍了多令牌预测如何帮助 Transformer 进行规划

一篇新研究论文探讨了多令牌预测（MTP）如何使 Transformer 比标准的下一令牌预测（NTP）更有效地执行规划和推理任务。研究表明，在图路径查找和 Countdown 等推理基准测试中，MTP 的表现优于 NTP。理论上，MTP 通过首先关注结束节点来鼓励路径的向后重建，这一过程得益于梯度解耦特性，该特性提供了更清晰的训练信号。