实体
LiveBench
LiveBench
PulseAugur coverage of LiveBench — every cluster mentioning LiveBench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新论文提出贝叶斯审计用于AI评估档案
一篇新论文提出了一种贝叶斯推理框架，用于审计前沿AI评估的公共档案。研究强调了选择性报告和基准修订如何扭曲对AI进展的认知，并以LiveBench和Open LLM Leaderboard v2作为主要例子。提出的档案和裁决协议旨在重建评估历史，建立经过验证的时间界限，并使关于AI能力的未经证实的说法无效。
-
Anthropic 的 Fable 5 在 LiveBench 基准测试中落后于 Gemini 3.1
LiveBench 的一项新基准评估显示，Fable 5 的表现落后于 Gemini 3.1。这些结果引发了对其基准准确性或 Anthropic 评估方法的质疑。Fable 5 是 Anthropic 的一款模型，考虑到其预期能力，此次表现下滑值得注意。
-
AI基准测试因过度优化和污染而被批评为无用
作者认为，由于多种因素，当前的AI模型基准测试正变得越来越无用。他们认为模型正在针对这些特定测试进行过度优化，导致基准测试性能与实际效用之间脱节。许多基准测试已经饱和、被污染，或者公开可用时间太长，以至于模型可以简单地记住答案，而不是展示真正的推理能力。此外，取得创纪录分数通常需要大量的脚手架和提示调整，这在实际应用中是无法复制的，导致在实际工作流程中使用时性能显著下降。作者总结说，激励机制偏向于营销胜利，而不是模型灵活性和集成方面的真正改进。