Joint Reward Set Calibration

新的SetGRPO方法通过校准评分者反馈增强LLM训练

研究人员推出了一种新方法SetGRPO，用于校准大型语言模型强化学习中的评分者诱导策略优化。该技术解决了评分者随机性和评分差异可能影响GRPO更新的问题。SetGRPO结合了联合奖励集校准、几何引导安全恢复和选择性风险门控优化，以确保更稳定和可控的策略更新。实验表明，SetGRPO在Qwen 3.5和Llama 3.2模型系列的基准测试中优于现有方法。