Dual-Evolving Reinforcement Learning

新的强化学习技术提升LLM推理和训练效率 · 跟踪7个来源

几篇研究论文探讨了用于大型语言模型（LLM）的强化学习（RL）的进展，重点是提高推理能力和训练效率。一篇论文介绍了“双回滚强化学习”，以创建更鲁棒的奖励估计，从而提高Qwen和Nemotron等模型在数学和编码任务上的准确性。另一项研究提出了“动态Jensen-Shannon回放”（DyJR），以保持策略的可塑性并防止过早地过度承诺于单一解决方案，从而在各种基准测试中提高性能。此外，研究还探讨了动量在RLVR中的作用，表明特定的动量系…