一项对前沿AI模型的新审计显示,当证据被移至不易访问的条件下时,模型的准确性会显著下降,导致错误答案增多和成本升高。研究发现,模型能够自信地提供捏造的解释,同时伴有准确的数值数据,这一问题在一个已记录的生产事件中得到凸显。研究人员主张改变评估方法,强调需要进行声明级溯源、条件感知评分以及人类对抗性验证,而不是仅仅依赖排行榜。 AI
影响 强调了需要更鲁棒的AI评估方法,以防止部署那些自信地生成虚假信息的模型。
排序理由 该集群包含一篇学术论文,详细介绍了新的审计方法以及关于AI模型性能的发现。[lever_c_demoted from research: ic=1 ai=1.0]
- Agentic evaluations
- alphaXiv
- arXiv
- CatalyzeX Code Finder for Papers
- Clean Scores, Buried Evidence, and Confident Wrong: A Receipt-Based Audit of Frontier Agentic QA
- DagsHub
- frontier models
- Gotit.pub
- Hugging Face
- Influence Flower
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →