Khalifa et al.

新的GRPO方法通过预算式强验证器审计优化LLM训练

一篇新的研究论文介绍了一种GRPO方法，用于在强验证器访问受限的情况下训练强化学习代理。该方法侧重于通过策略性地审计通过廉价、较弱检查的rollout来优化昂贵的验证检查的使用。这种预算式审计策略旨在最大限度地减少奖励篡夺，即策略利用奖励系统中的漏洞。在LLM训练中的实验表明，提出的低通预算审计能有效抑制奖励篡夺，其表现优于随机审计方法。