研究人员推出了科学预测宇宙(SPU),这是一个旨在测试通用人工智能(AGI)在预测跨学科实验结果能力的新基准。该基准包括来自100个公开任务和16个未发表实验的私有任务,评估代理根据测量结果对候选条件进行排名的能力。包括Codex和Claude Code等前沿模型在内的当前代理显示出显著的性能差距,最佳配置在公开基准上的Spearman相关系数为0.478。分析表明,主要限制不在于工具执行,而在于科学判断,因为代理通常依赖于共享先验知识,并且与实验现实的相关性较弱。 AI
影响 该基准可以通过识别AI在实验预测方面的局限性并指导未来的AGI发展来加速科学发现。
排序理由 该项目描述了一个用于评估AI在科学预测方面能力的新基准,已在arXiv上发布。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- artificial general intelligence
- arXivLabs
- CatalyzeX Code Finder for Papers
- Claude Code
- Codex
- Connected Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- Influence Flower
- Litmaps
- ScienceCast
- Science Prediction Universe
- scite Smart Citations
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →