实体
entropy regularization
entropy regularization
PulseAugur coverage of entropy regularization — every cluster mentioning entropy regularization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
引入风险规避型多群体均值场博弈新框架
本文介绍了一种新的风险规避型多群体均值场博弈框架,旨在模拟大规模异构多智能体系统。该方法通过在模糊集上优化最坏情况下的预期回报来考虑其他群体行为中的不确定性。作者们建立了新型风险规避均衡的存在性,并提出了一种基于风险规避型虚构博弈法的学习方案,通过数值实验证明了其收敛性。
-
新的熵正则化方法改进了可验证任务的AI模型训练
研究人员发现,在标准交叉熵(CE)训练与在数学推理和代码生成等可验证领域生成正确输出的目标之间存在不匹配。这个问题之所以出现,是因为即使CE训练能够准确模仿专家演示,它也可能无意中为不正确的输出分配更高的概率。为了解决这个问题,提出了一种名为熵正则化交叉熵(ER-CE)的新方法,该方法使用令牌级别的香农熵作为代理来控制策略的支持并防止质量扩散到不支持的输出。在数学推理和代码生成基准上的实验表明,与标准CE相比,ER-CE始终能提高验证器的准确性。