近期关于人工智能炒作周期的讨论正受到对评估方法更仔细审视的挑战。OSReward 项目强调，用于评判 AI 代理的奖励模型不仅嘈杂而且存在偏见，经常批准那些实际上未能完成任务的代理。这种宽容夸大了报告的成功率，引发了对 AI 代理开发真实进展以及当前基准是否准确衡量性能的质疑。 AI
影响 有偏见的评估指标可能会掩盖 AI 代理的真实能力，可能减缓真正的进展并误导研究方向。
排序理由 该集群讨论了 AI 评估方法的问题以及奖励模型中存在的潜在偏见，这是一篇观点/分析文章，而不是直接发布或研究发现。
在 Mastodon — sigmoid.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
The 'AI is losing hype' takes come back every cycle. OSReward points at something more concrete than vibes: the reward models judging computer-use agents aren't just noisy, they're biased in one direction. They rubber-stamp agents that actually failed the task. Lenient judges inf…
The "AI is losing hype" takes usually stay vague. OSReward makes it concrete: VLM reward models judging computer-use agents systematically trust the agent's textual claim of success over the actual screen state. So the feedback signal we train and evaluate on is contaminated by t…