Group Sequence Policy Optimization

新的S-trace方法提高了RLVR的效率和信用分配

研究人员推出了一种名为选择性合格追踪（S-trace）的新方法，旨在增强大型语言模型在可验证奖励强化学习（RLVR）框架内的推理能力。这种新方法通过超越统一信用分配，解决了现有无批评者算法（如Group Relative Policy Optimization, GRPO）的局限性。S-trace选择性地屏蔽低熵标记，从而实现更高效的学习和细粒度的信用分配，并在Qwen3等模型上展示了卓越的性能和效率。