研究人员推出 FlashREINFORCE,一个专为大型语言模型异步强化学习设计的新型框架。这种无评判器的方法能够在长周期和不规则的 rollout 时间下进行训练,克服了传统基于组的更新的局限性。FlashREINFORCE 结合了多种技术,以确保即使是单 rollout 轨迹也能实现提示覆盖和稳定的训练。该框架在 DeepSeek-R1-Distill-Qwen-1.5B 和 Qwen3-30B-A3B 等模型上展示了稳定性和有竞争力的性能,在使用的 rollout 更少的情况下,性能与同步基线相当或超越,同时保持了工具使用能力。 AI
影响 该框架可能实现更高效、更稳定的智能语言模型训练,从而有望在复杂、长周期的任务中提升性能。
排序理由 该集群描述了一篇介绍语言模型强化学习新型框架的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- ALFWorld
- arXiv
- DeepSeek-R1-Distill-Qwen-1.5B
- FlashREINFORCE
- Jian Hu
- Qwen2.5-7B-Instruct
- Qwen2.5-Math-1.5B
- Qwen3-30B-A3B
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →