BenchLM

作者警告：AI基准测试无法衡量真实世界的可靠性

作者认为，当前的AI基准测试具有误导性，因为它们未能衡量诸如事实准确性和生成貌似合理但错误信息的倾向等关键方面。尽管在MMLU等基准测试中得分很高，模型仍然可以生成虚假内容，这在一个多智能体工作流中得到了证明，在该工作流中，一个生成模型虚构了一段引语，而其事实核查的对应模型未能检测到它。模型发布的快速步伐以及排行榜上分数的趋同加剧了基准测试表现与真实世界可靠性之间的脱节，使得部署者难以理解在他们特定环境中‘更好’的真正含义。