研究人员推出了SciGame,这是一个旨在评估大型语言模型智能体在科学发现任务中的新基准。与之前的基准不同,SciGame使用结构化的“科学卡片”,呈现真实和反事实环境,以区分智能体的先验知识和从经验证据中学习的能力。对五个前沿模型的实验表明,当控制关系改变时,智能体难以恢复精确的符号定律,并且虽然适应性实验可以帮助一些模型,但也会损害较弱的模型。该基准突出表明,当前的智能体可以积极地调查系统,但在不熟悉的环境中归纳精确定律方面仍面临挑战。 AI
影响 该基准有望催生更强大的AI智能体,使其能够进行真正的科学发现,而不仅仅是模式匹配。
排序理由 该集群描述了一个用于评估AI智能体的新基准和相关的研究论文。
在 Hugging Face Daily Papers 阅读 →
- ACED-Bench
- alphaXiv
- arXiv
- CatalyzeX
- .codex
- Connected Papers
- EvoBelief
- Gotit.pub
- Hugging Face
- Litmaps
- PaperBenchX
- ScienceCast
- SciGame
- Scite
- WhatWorkedBench
- Witness
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →