新的RL方法W2SPO通过短辅助分支改进LLM推理

研究人员开发了一种新的离策略强化学习方法W2SPO，旨在提高大型语言模型的推理能力。该技术通过在模型轨迹中注入短的、8个token的辅助片段来解决标准方法中奖励对比度有限的问题。然后，策略更新将集中在这些片段上，利用最终可验证的奖励。W2SPO在4B规模模型的数学推理基准测试中表现出优越的性能，优于现有的后训练基线，并实现了显著的训练加速。 AI

影响 该方法可以增强大型语言模型的推理能力，尤其是在数学问题解决等复杂任务中。

排序理由 该集群包含一篇详细介绍人工智能强化学习新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• large language models
• mathematical reasoning benchmarks
• reinforcement learning
• ScienceCast
• W2SPO

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →