研究人员推出了ResearchQA，一个旨在评估大型语言模型在基于科学论文回答问题方面的能力的新基准，同时确保答案有可验证的引用支持。该基准包含跨越不同领域和问题类型的6000多个问答对，特别奖励当论文不支持答案时的基于引用的拒绝。对八个领先模型的评估表明，基于引用的指标比基于LLM的评分标准更能有效地区分模型性能，开放权重模型在引用准确性方面表现具有竞争力，并且与闭源模型相比延迟显著降低。 AI
影响 该基准有望提高LLM在科学研究和知识提取方面的准确性和可靠性。
排序理由 该集群描述了一个用于评估LLM在特定任务上表现的新学术基准的发布。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.11074v1 Announce Type: new Abstract: Large language models are increasingly used to assist scientific reading, but existing evaluation methods often fail to detect whether answers are supported by verifiable citations. We introduce ResearchQA, a benchmark of 6,211 sing…
Large language models are increasingly used to assist scientific reading, but existing evaluation methods often fail to detect whether answers are supported by verifiable citations. We introduce ResearchQA, a benchmark of 6,211 single-paper question-answer pairs from 494 open-acc…