Simon Park

研究发现 RL 后训练可增强 LLM 技能组合

一篇新研究论文探讨了强化学习（RL）后训练如何增强大型语言模型（LLM）的组合泛化能力，超越了简单的长度泛化。该研究使用 Countdown 任务，将模型解决方案分析为表达式树来表示技能。研究结果表明，RL 后训练能够实现对更大问题规模和新颖技能组合的分布外泛化。研究还揭示了技能习得的顺序受组合结构的影响，模型在掌握平衡树之后掌握不平衡树，并强调了深度、偏右结构持续存在的脆弱性。