Daniel R. Jiang

Iterative GRPO 使得多轮强化学习训练无需用户模拟器

研究人员推出 Iterative GRPO，这是一种用于训练多轮强化学习（RL）代理的新颖方法，特别适用于对话场景下运行的大型语言模型（LLMs）。该方法将经典的近似策略迭代适应于批处理在线学习范式，其中数据以批次形式收集，然后用于再训练。Iterative GRPO 使用带有学习到的回合级 Q 函数的单轮 RLHF 技术来估计预期的下游回报，从而避免了在训练期间需要复杂的用户模拟器或交互式环境。该方法在多轮谈判场景中已证明了其有效性。