PRM-guided search

新方法缓解 AI 数学推理中的过度优化问题

研究人员开发了一种名为 maximin PRM 引导搜索的新方法，以解决数学推理中的过度优化问题。该方法解决了过程奖励模型 (PRM) 可能为不正确的局部解分配过高分数的问题，导致搜索算法放弃有效的推理路径。通过将搜索构建为一个考虑了合理奖励扰动的鲁棒优化问题，maximin PRM 引导搜索降低了对这些嘈杂的 PRM 异常值的敏感性。这种无需训练的方法在各种设置下持续将 PRM 引导搜索的性能提高 17-35%，而无需进行微调或在线适应。