closed-weight models

新基准评估LLM在论文引用问答上的表现

研究人员推出了ResearchQA，一个旨在评估大型语言模型在基于科学论文回答问题方面的能力的新基准，同时确保答案有可验证的引用支持。该基准包含跨越不同领域和问题类型的6000多个问答对，特别奖励当论文不支持答案时的基于引用的拒绝。对八个领先模型的评估表明，基于引用的指标比基于LLM的评分标准更能有效地区分模型性能，开放权重模型在引用准确性方面表现具有竞争力，并且与闭源模型相比延迟显著降低。