Penghui Qi

新的BPCO方法增强了大型语言模型批评者的训练

研究人员开发了一种名为最佳实践批评者优化（BPCO）的新方法，以提高大型语言模型中基于组的强化学习中批评者训练的稳定性和效率。该技术结合了多种元素，包括DPPO、有界值预测、蒙特卡洛值目标和长度自适应广义优势估计。BPCO允许批评者根据策略隐藏的信息进行条件化，例如参考答案或评分标准，这对于基于评分标准的奖励特别有用。实验表明，BPCO在各种模型大小和数学推理任务中始终能提高性能，为基于组的相对优势估计提供了一种可靠的替代方案。