新基准评估LLM在合成数学数据中查找错误的能力

研究人员推出了MathDebugger，这是一个旨在评估大型语言模型检测和诊断合成数学数据中错误能力的新基准。该基准包含正确和错误的问题数据集，以及带注释的解决方案，在人类注释者之间达成高度一致。对14个大型语言模型和三个过程奖励模型的评估显示，即使是先进的模型在完全饱和MathDebugger方面也面临挑战，尤其是在细粒度错误识别方面。研究还强调了模型解决和验证能力之间的差距，表明明确的错误信息可以指导数据合成和质量控制流程的改进。 AI

影响 该基准有望推动用于训练LLM的合成数据的可靠性改进，从而带来更强大的推理能力。

排序理由 该集群是关于一篇介绍用于评估LLM的新基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Fleiss' kappa
• Gotit.pub
• Hao Liang
• Hugging Face
• large language models
• MathDebugger
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →