SoftmaxGRPO 增强了复杂提示的强化学习能力

研究人员推出了一种新颖的基于组的强化学习方法 SoftmaxGRPO，旨在改善不同难度提示之间的学习信号分配。与可能对简单提示权重分配不当的现有方法不同，SoftmaxGRPO 使用温度缩放的 softmax advantage 来保持权重有界。该方法已显示出实证改进，将梯度预算从近乎解决的提示中重新分配，并持续优于 GRPO。在评估中，SoftmaxGRPO 在 DeepMath 基准测试上达到了 51.8%，并将指令微调模型在诗歌生成方面的性能从 35.0% 显著提高到 68.0%。 AI

影响 这种新方法可以提高大型语言模型训练的效率和有效性，尤其是在需要细致推理和处理各种提示的任务中。

排序理由 该集群描述了一篇详细介绍新颖强化学习算法的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• DeepMath
• GRPO
• Hugging Face
• Jefferson Hernandez Enrique
• MaxRL
• Poetry
• SoftmaxGRPO

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →