Fengkai Yang

新方法解决 LLM 强化学习中的偏差问题

一篇新论文介绍了历史感知自适应难度加权 (HA-DW) 方法，以解决验证者奖励强化学习 (RLVR) 方法中的偏差问题，特别是用于 GRPO 等基于群体的方法。研究发现，当前方法可能低估了对困难提示的正确答案的权重，并对简单提示的错误答案处罚不足。HA-DW 旨在通过基于不断变化的难度锚点和训练动态的自适应重加权方案来纠正这些有偏差的优势估计。在数学推理基准上的实验表明，HA-DW 在与 GRPO 及其变体集成时能提高性能，表明其在更…