研究人员推出了一种名为“Follow the Winners”（FTW）的新型无批评者强化微调算法，专为代理式大型语言模型（LLM）设计。与依赖于有状态环境中不切实际的重复回滚的现有GRPO风格方法不同，FTW使用回放缓冲区样本上的序数滤波器来适应交叉熵方法。这种方法允许回报的顺序统计量具有多项式集中性，使其适用于无法进行重复回滚的场景。在代理式LLM的后训练中，FTW在Sokoban和Search-R1基线上表现出与GRPO和PPO相当的性能，提供了一种可行的替代方案，并减少了CPU内存使用量。 AI
影响 该新算法为LLM在复杂环境中的强化学习提供了一种更实用的方法，有望提高其适应性并降低计算要求。
排序理由 该集群包含一篇学术论文，详细介绍了LLM强化学习的新算法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
