Agent Security

新的CorrGRPO方法增强了语言模型的多元奖励学习

研究人员推出了一种名为相关性归一化GRPO（CorrGRPO）的新方法，用于训练具有多个奖励信号的推理语言模型。这种新方法解决了标准组相对策略优化（GRPO）中大规模奖励可能掩盖较小奖励的局限性。CorrGRPO将成对协方差归一化为皮尔逊相关系数，确保不同奖励成分的影响更加均衡。该方法已在0.5B到8B参数的模型上，在代码生成、工具调用和代理安全任务中展现出改进。