PulseAugur
实时 08:46:54
English(EN) QEDBENCH: Quantifying the Alignment Gap in Automated Evaluation of University-Level Mathematical Proofs

新基准揭示了高级人工智能数学证明评估中的偏见和推理差距

引入了一个名为 QEDBench 的新基准,用于评估大学数学证明自动评估中的对齐差距。该基准显示,包括 Claude Opus 4.5DeepSeek-V3Qwen 2.5 MaxLlama 4 Maverick 在内的几个人工智能大型语言模型在其评分中表现出积极偏见。此外,研究强调了 GPT-5 ProClaude Sonnet 4.5 等模型在离散数学领域性能显著下降,尽管 Gemini 3.0 Pro 取得了最先进的成果。 AI

影响 突显了当前人工智能在复杂推理任务评估方法中的关键局限性,需要提高人工智能裁判的可靠性。

排序理由 该集群报告了一篇介绍用于评估人工智能模型的新颖基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新基准揭示了高级人工智能数学证明评估中的偏见和推理差距

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Santiago Gonzalez, Alireza Amiri Bavandpour, Peter Ye, Edward Zhang, Ruslans Aleksejevs, Todor Anti\'c, Polina Baron, Sujeet Bhalerao, Shubhrajit Bhattacharya, Zachary Burton, John Byrne, Hyungjun Choi, Nujhat Ahmed Disha, Koppany Istv\'an Encz, Yuchen F… ·

    QEDBENCH: Quantifying the Alignment Gap in Automated Evaluation of University-Level Mathematical Proofs

    arXiv:2602.20629v3 Announce Type: replace Abstract: As Large Language Models (LLMs) saturate elementary benchmarks, the research frontier has shifted from generation to the reliability of automated evaluation. We demonstrate that standard "LLM-as-a-Judge" protocols suffer from a …