研究人员推出了一种新颖的方法 EDEN（Embedding-space Directional Exploration via anchored Noise），用于增强大型语言模型（LLM）的可验证奖励强化学习（RLVR）。EDEN 通过在生成滚出（rollout）过程中将精心设计的噪声注入输入提示的嵌入空间，解决了 RLVR 中轨迹多样性有限的问题。该技术在不改变核心策略或推理过程的情况下，增加了采样轨迹的多样性，并加强了组相对优势信号。在 Qwen2.5-Math 模型上的实验表明，EDEN 通过提高解决方案覆盖率和提供更具信息量的学习信号，在数学推理任务上显著优于 GRPO 等现有方法。 AI
影响 通过改进强化学习中的探索来增强 LLM 训练，可能带来更强大、更具能力的模型。
排序理由 关于 LLM 强化学习新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
