研究人员开发了一种新的协议，用于评估自然语言到Lean语句形式化的忠实度，超越了简单的编译检查。他们的基准涵盖了研究生级别的数学内容，揭示了编译率与语义忠实度之间存在显著差距，一个经过工具增强的代理达到了89.5%的编译率，但共识忠实度仅为60.5%。有针对性的人工审计证实了该指标的有效性，表明现有的形式化模型需要分别报告形式有效性、证明能力和忠实语句生成。 AI
影响 强调了在AI形式化工具中分别评估形式有效性、证明能力和忠实语句生成的需求。
排序理由 学术论文，详细介绍了一种新的形式化模型评估协议。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.31002v1 Announce Type: new Abstract: Theorem-proving benchmarks evaluate proof search against fixed formal statements, but natural-language-to-Lean formalization must generate the formal statement itself. In this setting, compilation is only a validity check: a Lean de…
Theorem-proving benchmarks evaluate proof search against fixed formal statements, but natural-language-to-Lean formalization must generate the formal statement itself. In this setting, compilation is only a validity check: a Lean declaration may type-check while omitting hypothes…