entropy regularization

新的熵正则化方法改进了可验证任务的AI模型训练

研究人员发现，在标准交叉熵（CE）训练与在数学推理和代码生成等可验证领域生成正确输出的目标之间存在不匹配。这个问题之所以出现，是因为即使CE训练能够准确模仿专家演示，它也可能无意中为不正确的输出分配更高的概率。为了解决这个问题，提出了一种名为熵正则化交叉熵（ER-CE）的新方法，该方法使用令牌级别的香农熵作为代理来控制策略的支持并防止质量扩散到不支持的输出。在数学推理和代码生成基准上的实验表明，与标准CE相比，ER-CE始终能提高验证器的准确性。