Adaptive Prediction Set

新的C-GRPO方法将语言模型训练效率提高了高达70%

研究人员推出了一种名为C-GRPO的新型语言模型优化方法，可提高训练效率。与使用固定组大小的标准GRPO不同，C-GRPO根据任务难度动态调整其方法，减少在简单提示上浪费的计算量，并增加在更难提示上的探索。该方法结合了校准的保形阈值和各种评分机制，以确保有限样本覆盖率，并将训练回滚减少高达70%，同时在数学、科学和代码生成基准测试中保持准确性。