实体
Open LLM Leaderboard
Open LLM Leaderboard
PulseAugur coverage of Open LLM Leaderboard — every cluster mentioning Open LLM Leaderboard across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新研究发现：AI 基准排名因噪音而受损
研究人员开发了一个新框架来分析 AI 基准排行榜的可靠性，这些排行榜经常受到测量噪音的影响。通过将验证性因子分析和泛化理论应用于 Open LLM 排行榜中的 4,000 多个模型，他们识别出了排名方差的来源。研究发现，贡献者元数据比模型架构更能解释排名方差，并且潜在的通用因子斜率比显式得分斜率更稳定，从而为基准的可信度和设计提供了见解。
-
新研究揭示机器学习基准易受操纵
研究人员分析了机器学习基准被操纵的易感性，将数据集视为选民，模型视为候选人。他们发现，为了在排行榜上获得最高排名而策略性地将基准数据包含在模型的训练集中是一个NP难问题，类似于选举贿赂。该研究引入了“实例级鲁棒性”来量化操纵所需的最小数据集，并评估了其在MMLU和BIG-Bench Hard排行榜上的表现。