OpenAI 已撤回对 SWE-bench Verified 基准测试的支持，此前一项审计揭示了重大问题。审计发现，基准测试中近 60% 的任务存在缺陷，并且观察到 AI 模型是从其训练数据中复制解决方案，而不是真正解决问题。 AI
影响 凸显了 AI 基准测试可靠性方面存在的潜在问题以及对稳健评估方法的需求。
排序理由 该集群讨论了 AI 基准测试的问题以及一家公司的回应，这属于研究相关新闻。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
