arXiv上的一篇新论文揭示，现代大型语言模型（LLM）排行榜受到“配置脆弱”项的显著影响，这意味着问题的呈现方式和答案的评估方式会极大地改变模型的感知性能。研究人员通过在3,679个基准项上测试12个LLM的26种不同配置，创建了一个“脆弱性网格”。研究发现，与选项顺序相比，评分方法是影响最大的关键因素，某些模型在特定配置下能获得最高排名，而其他模型的分数差异高达58个百分点。这表明，由于对评估设置的敏感性，当前的排行榜可能无法准确反映模型的真实能力。 AI
影响 强调了当前LLM基准评估中潜在的不可靠性，表明需要更强大和标准化的测试方法。
排序理由 学术论文，详细介绍了一种评估LLM基准的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
