ComBench

新基准评估LLM的数学推理和证明验证能力

研究人员引入了新的基准和评估方法来评估大型语言模型的数学推理能力。ComBench侧重于奥林匹克级别的组合数学，区分证明推理和构造性实现，并发现即使是顶级模型也难以应对这些复杂任务。另一种方法TheoremBench使用Lean4语言评估LLM在形式数学中的定理证明能力，强调需要超越竞赛式问题来评估模型在更长、依赖性更强的数学发展中的表现。此外，一种用于研究级证明的严格步骤级验证方法旨在通过仔细检查每个推理步骤来解决LLM的不可靠性问题。