一篇新论文提出了一种“符号律”,用于理解可验证奖励强化学习(RLVR)中的熵漂移,特别是在用于滚动的采样器与学习者应用的采样器不同的情况下。研究表明,这种采样器不匹配会导致策略熵的可预测变化,对模型的稳定性和准确性产生影响。在2B模型和9B推理模型上的实验表明,纠正这种漂移可以显著提高模型在未见过数据上的准确性,尤其是在无法进行精确采样的情况下。 AI
影响 这项研究通过解决采样器不匹配相关的问题,有望带来更稳定、更准确的强化学习模型。
排序理由 该集群包含一篇在arXiv上发表的研究论文,详细介绍了强化学习领域的一项新理论发现。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →