English(EN) NL2AGBench: Benchmarking LLM Auto-Formalization for AlphaGeometry

新基准测试LLM形式化几何问题的能力，以用于AlphaGeometry

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-31 04:00

研究人员开发了NL2AGBench，这是一个新的基准，旨在评估大型语言模型将非正式几何问题转化为AlphaGeometry所需的正式语言的能力。这一点至关重要，因为AlphaGeometry在国际数学奥林匹克竞赛中表现接近金牌选手水平，它需要专门的领域特定语言作为输入，而手动转换是一个重大的瓶颈。该基准使用AlphaGeometry内的基于执行的验证来评估翻译质量。实验表明，领先的闭源LLM实现了超过80%的可执行翻译率，显著优于难以生成有效形式化的开源模型。 AI

影响该基准可以加速能够形式化复杂数学问题的LLM的开发，可能有助于自动化定理证明和科学发现。

排序理由该集群描述了一篇介绍用于评估LLM在特定领域能力的基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 14 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群描述了一篇介绍用于评估LLM在特定领域能力的基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Samuel Xiao, Judy Song, Rory Hu, Ziliang Zong · 2026-08-31 04:00

NL2AGBench：为 AlphaGeometry 评估 LLM 自动形式化能力

arXiv:2608.28481v1 Announce Type: new Abstract: Recent advances in large language models (LLMs) have demonstrated strong capabilities in natural language understanding and mathematical reasoning. However, their ability to translate informal mathematical problems into formal repre…

本文如何被排名

报道来源 [1]

NL2AGBench：为 AlphaGeometry 评估 LLM 自动形式化能力

相关实体

相关话题