BayesianPRM

BayesianPRM 使用新的不确定性感知方法增强 LLM 推理

研究人员开发了 BayesianPRM，这是一种用于扩展大型语言模型推理的新型方法，以改进过程奖励模型 (PRM)。BayesianPRM 解决了不确定性的两个关键来源：PRM 训练不完善和可能导致奖励高估的策略不匹配。通过将过程奖励视为随机变量并维护贝叶斯信念，该方法采用可靠性感知信念更新和保守性感知信念校准，以提供更准确的奖励估计，并增强多模态推理基准测试中的测试时扩展性能。