Prefix-GRPO

Prefix-GRPO 增强小型语言模型以用于交互式代理

研究人员推出了一种新颖的强化学习框架 Prefix-GRPO，旨在增强小型语言模型在交互式代理任务中的性能。该方法将教师轨迹分解为与重放对齐的前缀查询和在线续接，使学生模型能够在长视界环境中更有效地学习。在 TextCraft、BabyAI 和 ALFWorld 上的实验表明，Prefix-GRPO 通过在统一的策略优化框架内优化前缀学习和续接学习，其性能优于标准的蒸馏和强化学习基线。