研究人员推出了 StochBench,这是一个旨在评估大型语言模型在 Lean 4 编程语言中处理随机过程能力的新基准。该基准包含 450 个研究生级别的难题,涵盖了马尔可夫链、布朗运动和随机微积分等领域,这些领域在现有的以数学为中心的基准中常常代表性不足。一个使用 Opus 4.8 的代理在 15 分钟内每个问题解决时限内,在 StochBench 上达到了 34.9% 的证明率,这表明该基准对高级证明器来说具有挑战性。 AI
影响 该基准有望推动 LLM 在专业数学推理和形式验证方面的能力改进。
排序理由 该集群描述了一个用于 LLM 进行形式定理证明的新学术基准。
在 Hugging Face Daily Papers 阅读 →
- International Mathematical Olympiad
- Lean 4 Programming Language
- Mathlib
- Opus 4.8
- Putnam
- StochBench
- Hugging Face
- Lean
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →