English(EN) Auditing AI peer reviewers: a benchmark on real scientific papers

新基准测试审计AI同行评审员在科学论文中的错误

作者 PulseAugur 编辑部 · [1 个来源] · 2026-11-14 05:00

研究人员开发了一个新的基准测试，用于评估用于同行评审科学论文的AI系统。该基准测试将特定类型的错误注入到真实的研究文章中，以衡量各种AI评审员的检测率和误报率。研究发现，AI模型的选择显著影响错误检测，一些前沿LLM在性能上表现出巨大差异。工具和外部资源，如引文检索和计算代数，可以增强AI评审员的能力，特别是在检测数学和数值错误方面，尽管其有效性因科学领域而异。 AI

影响为AI同行评审系统建立了一个新的评估标准，有望提高AI辅助科学出版的可靠性。

排序理由该项目描述了一个针对特定研究任务（同行评审）的AI系统的新基准测试和评估，以学术论文的形式呈现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 16 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该项目描述了一个针对特定研究任务（同行评审）的AI系统的新基准测试和评估，以学术论文的形式呈现。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, product, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · \'I\~nigo Zubeldia, Boris Bolliet, Francisco Villaescusa-Navarro, Pablo Villanueva-Domingo, Miles Cranmer · 2026-11-14 05:00

审计人工智能同行评审：基于真实科学论文的基准测试

arXiv:2611.17052v1 Announce Type: cross Abstract: LLM-based peer review is now used at production scale, but its evaluation remains limited. We introduce a benchmark that injects objective, localisable errors of four types (general issues, mathematics, numerics, citations) at thr…

本文如何被排名

报道来源 [1]

审计人工智能同行评审：基于真实科学论文的基准测试

相关实体

相关话题