MathDebugger

新基准评估LLM在合成数学数据中查找错误的能力

研究人员推出了MathDebugger，这是一个旨在评估大型语言模型检测和诊断合成数学数据中错误能力的新基准。该基准包含正确和错误的问题数据集，以及带注释的解决方案，在人类注释者之间达成高度一致。对14个大型语言模型和三个过程奖励模型的评估显示，即使是先进的模型在完全饱和MathDebugger方面也面临挑战，尤其是在细粒度错误识别方面。研究还强调了模型解决和验证能力之间的差距，表明明确的错误信息可以指导数据合成和质量控制流程的改进。