ScienceAgentBench
PulseAugur coverage of ScienceAgentBench — every cluster mentioning ScienceAgentBench across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的REVERE代理框架增强研究编码工作流
研究人员开发了REVERE，一个旨在改进研究编码工作流的新型代理框架。与依赖局部信号和弱提示更新的现有方法不同，REVERE从全局训练上下文（Global Training Context）中学习，将反复出现的失败模式提炼成启发式规则，并对代理提示进行有针对性的编辑。这种自适应方法能够实现更好的泛化性和稳定性，在多项基准测试中显著优于先前专家制定的指令，同时成本更低、适应速度更快。
-
AI研究系统获得面向失败的内存以提高性能
研究人员开发了一种新颖的“负知识内存层”，旨在改进AI辅助研究系统。该系统将失败的尝试转换为共享库中的结构化、类型化记录，下游代理可以接受或拒绝这些记录。在ScienceAgentBench和复杂的PDE问题上的评估表明，这种负知识方法优于标准的AutoResearch基线，并在其他方法失败的情况下成功完成了任务。研究结果表明，显式维护结构化的负知识对于在AI参与的研究中建立集体科学记忆至关重要。
-
D3-Gym 数据集为 AI 科学发现提供可验证环境
研究人员推出了 D3-Gym，这是一个旨在为科学数据驱动发现任务创建可验证环境的新型数据集。该数据集包含来自真实科学存储库的 565 个任务，每个任务都包含与人类判断高度一致的指令、可执行环境和评估脚本。在 D3-Gym 上训练 AI 模型已显示出显著的性能提升，尤其是在 ScienceAgentBench 基准测试中将 Qwen3-32B 模型提高了 7.8 个百分点。
-
DataPRM 通过奖励科学过程增强 LLM 数据分析能力
研究人员开发了 DataPRM，这是一种新的过程奖励模型，旨在提高 AI 代理在动态数据分析任务中的性能。与以往难以处理的无声错误和探索性操作的模型不同，DataPRM 可以主动验证中间状态，并区分可纠正和不可挽回的错误。该方法经过 8,000 多个实例的训练，在 ScienceAgentBench 和 DABStep 等基准测试中显著增强了下游策略 LLM，证明了其在监督复杂数据分析方面的有效性。