对 180 个 AI 模型、1,629 个基准测试结果的分析显示,AI 实验室报告的分数平均比独立测试者报告的分数高 6.4%。这种差异在 103 个不同的基准测试中都有观察到。该项目名为 whatmodel.sh,已根据开源许可证公开了其数据集和代码,以促进 AI 模型性能报告的透明度。 AI
影响 凸显了 AI 模型性能报告中潜在的偏见,呼吁提高透明度。
排序理由 对 AI 实验室和独立测试者之间基准分数进行比较的分析。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →