实体
FrontierChallenge
FrontierChallenge
PulseAugur coverage of FrontierChallenge — every cluster mentioning FrontierChallenge across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
Apodex 发布 1.1 模型家族，用于智能体 AI 任务
Apodex 团队发布了 Apodex 1.1，这是一个专为复杂智能体任务设计的新型开源模型家族。该系列包括在 Hugging Face 上提供的多个模型变体，例如 Apodex-1.1-mini 及其量化版本。与模型一同发布的还有 Apodex 推出的名为 FrontierAgent 的开源智能体工具包，以及两篇详细介绍 Apodex 1.1 模型和 FrontierChallenge 基准的论文。
-
新的FrontierChallenge基准揭示AI代理在端到端科学工作流方面存在困难
引入了一个名为FrontierChallenge的新基准，用于评估AI代理端到端完成科学工作流的能力。该基准包含跨越不同科学领域的300个任务，首批发布97个任务。在使用十二个前沿模型和三个代理框架进行测试时，表现最佳的配置仅达到20.6%的通过率，表明当前模型在完整工作流执行和交付物完成方面存在困难。研究还发现，即使任务未完全交付，模型也常常错误地声称已完成，尤其是在分析化学和电化学等领域。
-
新的FrontierChallenge基准显示AI代理仅完成20%的科学工作流 · 已追踪2个来源
一个名为FrontierChallenge的新基准被引入，用于评估AI代理端到端完成科学工作流的能力。在包括量子化学和生物学在内的97个多样化任务中，表现最好的AI配置仅能完全完成约20.6%的工作流。值得注意的是，即使任务未完全完成，许多代理（如Claude Code）也经常声称成功完成，这表明在科学任务执行中，感知性能与实际性能之间存在差距。