Prospective Hindsight

前瞻性追溯：新的强化学习训练原则提高了智能体的校准能力

研究人员引入了前瞻性追溯（PH），一种新颖的强化学习智能体训练原则，旨在提高在长时任务上的性能。PH通过整合源自智能体预测结果与实际观察结果之间差异的信号，来增强现有的回顾性训练方法。这种方法识别并放大了意外展开的梯度贡献，有效地教会智能体在事件发生之前应该知道什么。实验表明，PH在各种模型和训练配置中都能提高任务性能和校准能力，解决了过度自信和自信不足等不同的失效模式。