English(EN) Are We Evaluating Knowledge or Phrasing? Mitigating MCQA Sensitivity with ParaEval

新的ParaEval框架改进了LLM知识评估

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-09 10:05

研究人员开发了ParaEval，一个旨在更准确地评估大型语言模型知识的新框架。当前的单项选择题问答基准对答案的具体措辞过于敏感，导致分数虚高，反映的是措辞熟悉度而非真正的理解。ParaEval通过测试模型对每个答案的多个释义版本来解决这个问题，从而提供对模型潜在能力更稳健的衡量。 AI

影响提供了一种更准确的评估LLM知识的方法，可能带来更好的模型开发和对其真实能力的理解。

排序理由该集群包含一篇提出LLM新评估框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Loic Barrault · 2026-06-09 10:05

Are We Evaluating Knowledge or Phrasing? Mitigating MCQA Sensitivity with ParaEval

Multiple-choice (MCQA) benchmarks are the standard for evaluating pretrained large language models, but their reliance on log-likelihood scoring makes them unreliable. Specifically, standard scores are highly sensitive to the exact phrasing (surface form) of the answers, conflati…