一篇新研究论文探讨了强化学习（RL）后训练如何增强大型语言模型（LLM）的组合泛化能力，超越了简单的长度泛化。该研究使用 Countdown 任务，将模型解决方案分析为表达式树来表示技能。研究结果表明，RL 后训练能够实现对更大问题规模和新颖技能组合的分布外泛化。研究还揭示了技能习得的顺序受组合结构的影响，模型在掌握平衡树之后掌握不平衡树，并强调了深度、偏右结构持续存在的脆弱性。 AI
影响 阐明了 RL 后训练如何实现 LLM 的组合泛化，可能提高其综合新颖技能以应对复杂任务的能力。
排序理由 该集群包含一篇详细介绍强化学习和大型语言模型研究结果的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
