PTGPO

新的PTGPO方法增强了语言代理在复杂任务上的训练

研究人员推出了一种名为前缀树分组策略优化（PTGPO）的新颖方法，旨在改进语言代理在复杂、长时序交互任务上的训练。这种无需判别器的方法通过在锚点状态组内从轨迹后缀构建前缀树，并根据父节点和子节点之间经验平均回报差来分配信用。这提供了细粒度的学习信号，而无需判别器或额外的采样。在ALFWorld、WebShop和Sokoban等基准测试上的实验表明，PTGPO在性能上优于标准的强化学习基线。