VinePPO

新的TWICE方法改进了代理强化学习的信用分配

研究人员开发了一种名为TWICE（TWIn-world Credit Estimation）的代理强化学习新方法。该技术通过创建“孪生世界”来解决在整个回合中将信用分配给单个决策的挑战。这些孪生世界共享相同的采样噪声，但在单个决策上有所不同，从而可以更准确地评估该决策的影响。TWICE在问答基准测试中表现出显著的改进，优于现有方法，并减少了对辅助令牌的需求。