Proximal KL

新的近端KL方法提高了Qwen3模型上策略离轨RLVR的准确性

研究人员开发了近端KL（Proximal KL），一种用于策略离轨可验证奖励强化学习（RLVR）的新颖方法。该技术通过使用Token级重要性加权和有界未来KL信用，解决了异步生成和响应重用等挑战，避免了对全响应权重或拟合评论家的需求。在八个数学基准测试中，与Qwen3-1.7B和Qwen3-4B模型上的GRPO相比，近端KL在微平均准确性方面表现出更高的准确性，优于GRPO高达2.58%。