StochBench

新的 StochBench 基准测试 LLM 在 Lean 中处理随机过程 · 跟踪 2 个来源

研究人员推出了 StochBench，这是一个旨在评估大型语言模型在 Lean 4 编程语言中处理随机过程能力的新基准。该基准包含 450 个研究生级别的难题，涵盖了马尔可夫链、布朗运动和随机微积分等领域，这些领域在现有的以数学为中心的基准中常常代表性不足。一个使用 Opus 4.8 的代理在 15 分钟内每个问题解决时限内，在 StochBench 上达到了 34.9% 的证明率，这表明该基准对高级证明器来说具有挑战性。