一篇新的理论论文认为，具有可验证奖励的强化学习（RLVR）并不能从根本上提高语言模型的推理能力。相反，它表明在第一次尝试解决问题（pass@1）时获得的任何提升，都将以在需要多次尝试才能解决的问题（pass@k）上的性能下降为代价。该研究建立了一个数学定理，表明在策略专业化下，这种权衡是 RLVR 的固有属性，这意味着一个指标的改进必然会损害另一个指标。这一发现表明，RLVR 主要是在固定的前沿优化性能，而不是扩展它，任何感知到的收益都有可衡量的代价。 AI
影响 这项研究表明，当前用于提高语言模型解决问题能力的强化学习技术可能面临固有的局限性，这可能会将重点转移到增强推理能力的替代方法上。
排序理由 该集群是关于一篇在 arXiv 上发表的理论计算机科学论文，详细介绍了关于特定人工智能技术（RLVR）的数学证明。
在 Hugging Face Daily Papers 阅读 →
- alphaXiv
- arXiv cs.AI
- CatalyzeX Code Finder for Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- IArxiv Recommender
- pass@1
- pass@k
- Reinforcement Learning with Verifiable Rewards
- RLVR
- ScienceCast
- Stiemke duality
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
