作者认为，当前的AI基准测试具有误导性，因为它们未能衡量诸如事实准确性和生成貌似合理但错误信息的倾向等关键方面。尽管在MMLU等基准测试中得分很高，模型仍然可以生成虚假内容，这在一个多智能体工作流中得到了证明，在该工作流中，一个生成模型虚构了一段引语，而其事实核查的对应模型未能检测到它。模型发布的快速步伐以及排行榜上分数的趋同加剧了基准测试表现与真实世界可靠性之间的脱节，使得部署者难以理解在他们特定环境中‘更好’的真正含义。 AI
影响 批评了当前AI基准测试的局限性，并指出高分并不能保证真实世界的可靠性或事实准确性。
排序理由 这篇文章是一篇评论文章，批评了当前AI基准测试的现状及其局限性，而不是报道新的发布、重大事件或研究发现。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
