研究人员发现，在标准交叉熵（CE）训练与在数学推理和代码生成等可验证领域生成正确输出的目标之间存在不匹配。这个问题之所以出现，是因为即使CE训练能够准确模仿专家演示，它也可能无意中为不正确的输出分配更高的概率。为了解决这个问题，提出了一种名为熵正则化交叉熵（ER-CE）的新方法，该方法使用令牌级别的香农熵作为代理来控制策略的支持并防止质量扩散到不支持的输出。在数学推理和代码生成基准上的实验表明，与标准CE相比，ER-CE始终能提高验证器的准确性。 AI
影响 这项研究提供了一种实用的方法来提高AI模型在需要可验证输出的任务中的准确性，有可能在编码和数学等领域带来更可靠的AI系统。
排序理由 该集群包含一篇详细介绍AI模型训练新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
