Outlier Gradient Masking

新的SAR方法提高了LLM在几何任务中的精度

研究人员开发了一种名为饱和加性奖励（SAR）的新方法，以提高大型语言模型在几何任务中的精度。该方法解决了称为异常梯度掩蔽（Outlier Gradient Masking）的故障模式，在这种模式下，单个约束违反会阻碍所有约束的学习。SAR将奖励分解为有界的每约束项，保留部分进展并确保梯度一致性。使用SAR的8B参数模型在解决复杂几何问题方面比标准的基于MSE的奖励提高了2.3倍。