ResearchClawBench
PulseAugur coverage of ResearchClawBench — every cluster mentioning ResearchClawBench across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
MatOS开源以提高材料科学研究效率
研究人员已开源MatOS,这是一个旨在增强材料科学研究的智能体系统。MatOS将数据、工具和工作流组织成一个分层结构,使研究人员和系统本身都能构建和发展新能力。在基准测试中,与其他智能体系统相比,MatOS在成功率和效率方面表现出显著提升,尤其是在涉及大规模筛选和配方设计任务时。
-
MatOS 智能体操作系统通过可复用资产简化材料研究
研究人员开发了 MatOS,一个旨在通过将数据、知识和工具组织成可复用的科学资产图谱来简化材料研究的智能体操作系统。该系统具有有状态的自适应工作流,允许任务恢复和追溯,以及一个基于证据的资产演进过程,该过程根据执行记录和用户反馈来优化这些资产。MatOS 在性能上表现出显著的改进,在 ResearchClawBench 和 MatTools 等基准测试中优于之前的智能体和 Codex CLI、Claude Code 等工具,并已成功应…
-
新框架AutoSciRub采用先评估后改进的方法指导AI研究代理
研究人员开发了AutoSciRub,一个旨在增强自主科学研究代理的新颖框架。该系统通过在研究执行前归纳可执行的评分标准来解决研究任务定义不明确的挑战。该评分标准通过目标分解、标准综合和迭代修订来指导代理,确保不会遗漏重要的分析,并且结论有充分的依据。AutoSciRub在ResearchClawBench和AstaBench E2E Discovery等基准测试中表现出显著的改进,证明了其在不同LLM和代理配置下的有效性。
-
新的AutoSciRub框架增强了自主研究代理
研究人员开发了AutoSciRub,一个旨在增强自主科学研究代理的新框架。该系统在研究执行前归纳特定任务的评分标准,然后指导代理的工作流程,验证标准,并促进迭代修订。AutoSciRub旨在通过明确隐含的要求来解决研究任务不明确的挑战,从而得出更可靠和基于证据的结论。该框架在ResearchClawBench和AstaBench E2E Discovery等基准测试中表现出显著的改进,增强了各种LLM和代理配置的性能。
-
新基准揭示AI在自主科学研究方面面临的挑战
研究人员推出了ResearchClawBench,这是一个旨在评估AI代理端到端自主研究能力的基准测试。该基准测试包含10个科学领域的40项任务,每项任务都基于真实的已发表论文。包括代理和大型语言模型在内的当前AI系统在可靠地重新发现科学发现方面表现出显著的局限性,最强的系统得分远低于完全重新发现的水平。