W2SPO

新的RL方法W2SPO通过短辅助分支改进LLM推理

研究人员开发了一种新的离策略强化学习方法W2SPO，旨在提高大型语言模型的推理能力。该技术通过在模型轨迹中注入短的、8个token的辅助片段来解决标准方法中奖励对比度有限的问题。然后，策略更新将集中在这些片段上，利用最终可验证的奖励。W2SPO在4B规模模型的数学推理基准测试中表现出优越的性能，优于现有的后训练基线，并实现了显著的训练加速。