miniF2F
PulseAugur coverage of miniF2F — every cluster mentioning miniF2F across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的AI代理使用AST进行定理证明,降低成本
研究人员开发了一种名为AoA(Agent over AST)的新型定理证明代理,它在编程语言的抽象语法树(AST)上运行,而不是其序列化的具体语法。这种方法显著减少了令牌消耗和API成本,使得基于大型语言模型的证明代理更具可扩展性。AoA通过将证明操作和状态直接集成到AST中来实现这一点,与Amazon的Isabelle Agent等现有代理相比,在miniF2F和NTP4VC-Pearl等基准测试中,其执行速度更快,解决问题的能力也得到了提高。
-
Mistral AI发布Leanstral 1.5,用于高级形式化验证
Mistral AI发布了Leanstral 1.5,这是一个开源模型,专为形式化验证任务设计。该模型拥有60亿活跃参数,并以Apache 2.0许可证提供,在解决复杂数学问题和验证真实世界代码方面表现出显著的改进。Leanstral 1.5在证明工程等领域表现出色,并已在软件存储库中发现了一些先前未知的错误。
-
新的基准MINIF2F-DAFNY测试LLM的数学定理证明能力
研究人员开发了MINIF2F-DAFNY,这是一个用于评估大型语言模型(LLM)在数学定理证明方面的新基准。该系统将miniF2F基准转换为Dafny,一个自动主动验证器,使LLM能够指导证明生成,而Dafny的自动定理证明器则处理低级细节。在评估中,表现最佳的LLM Claude Opus-4.6 达到了 62.7% 的累积通过率,显著优于基线性能。
-
NVIDIA Nemotron 3 Nano:用于高效 AI 代理的开放模型
NVIDIA 发布了 Nemotron 3 Nano,这是一个拥有 300 亿参数的开放模型,专为高效推理和长上下文应用而设计。该模型采用了混合专家混合(Mixture-of-Experts)架构,每个 token 只激活其参数的一小部分,从而降低了强大推理性能的运营成本。Nemotron 3 Nano 在推理、编码和代理工作流基准测试中表现出竞争力,使其适用于构建需要处理大型文档或复杂任务的 AI 代理、编码助手和 RAG 系统的开发者。
-
NVIDIA 发布高效 Nemotron 3 LLM 系列,采用混合架构
NVIDIA 发布了两款新的大型语言模型 Nemotron 3 Nano 和 Nemotron 3 Ultra,专注于效率和高级功能。Nemotron 3 Nano 是一款 30B 级模型,专为私有推理和代理工作流设计,采用混合 Mamba-Transformer Mixture-of-Experts 架构,并支持高达 100 万个 token 以实现长上下文应用。Nemotron 3 Ultra 是一款 550B 参数模型,采用类似…
-
Lean Proof Assistant Enhances Reinforcement Learning for Theorem Proving
研究人员开发了一种使用强化学习进行定理证明的新颖方法,集成了 Lean 证明助手以提供详细的、经过验证的反馈。这种方法被称为过程验证强化学习(PVRL),它利用 Lean 提供的超越简单二元成功或失败的细粒度、策略级别信号。通过将这些结构化奖励纳入类似 GRPO 的目标,与仅基于结果的方法相比,该系统在 MiniF2F 和 ProofNet 等基准测试中表现出更高的性能。这项工作表明,符号证明助手可以在训练过程中充当过程级别的奖励预言…
-
新研究测试AI证明形式化模型的鲁棒性
arXiv上的一项新研究评估了证明自动形式化模型的鲁棒性,这些模型将自然语言数学证明翻译成Lean 4等形式化语言。研究人员对非正式证明引入了全局和局部扰动,以测试模型的_一致性_和_忠实性_。评估发现,七个近期模型对全局释义敏感,并且在很大程度上未能准确反映符号或证明步骤的局部变化。
-
LLM在Lean 4中形式化数学证明的评估
一篇新的研究论文评估了各种大型语言模型(LLM)在使用Lean 4定理证明器生成形式化数学证明方面的性能。该研究在miniF2F和miniCTX数据集的子集上采用了pass@k和refine@k指标。Gemini 3.1 Pro和Claude Opus 4.7表现出最高的成功率,其中Gemini在miniF2F上达到92%,Opus在miniCTX上达到86%。在成本效益方面,NVIDIA Nemotron 3 Super和GPT-O…
-
大型语言模型自动形式化在释义输入方面存在困难
研究人员调查了大型语言模型(LLMs)在自动形式化任务中的鲁棒性,特别是它们从自然语言陈述生成形式化证明的能力。研究发现,当面对语义相似的释义输入时,LLMs 的性能表现出可变性,这表明自然语言的微小改动会显著影响生成的形式化输出。该研究使用了 MiniF2F 和 Lean 4 ProofNet 基准来评估两个现代 LLMs,并测量了生成证明的语义和编译有效性。
-
新的AI方法在定理自动形式化中实现100%形式有效性
研究人员开发了一种新颖的无参考迭代精炼过程,用于自动形式化整个数学定理。该方法利用定理证明器和基于LLM的裁判的反馈,在没有人为干预或真实数据的情况下,增强形式有效性、逻辑保持性、数学一致性和形式质量。该方法保证单调改进,并在miniF2F和ProofNet等基准测试中表现出强大的性能。
-
Lean 4 自动形式化对表面措辞敏感,而非语义
研究人员调查了自然语言变体对 Lean 4 自动形式化的影响,发现语义等价的释义可能导致不同的形式化输出。他们的研究使用 GPT 系列模型和开源自动形式化器在 ProofNet# 和 miniF2F 数据集上进行,揭示了这些敏感性主要是由于编译失败而非语义分歧。研究结果表明,未来的努力应侧重于改进编译过程,而不是这些系统的语义层。