MLE-Bench
PulseAugur coverage of MLE-Bench — every cluster mentioning MLE-Bench across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
研究发现，大型语言模型在预测机器学习实验结果方面表现出有限的直觉
一篇新的arXiv论文调查了当前前沿大型语言模型（LLM）预测机器学习实验结果的能力。研究人员构建了一个包含288个LLM提出的想法的数据集，并提示了包括GPT-6 Astra和Claude Opus 5.5在内的五个领先模型来预测其影响。虽然LLM的预测比随机猜测要好，但远非准确，Claude Opus 5.5仅解释了约一半结果的方差。研究还发现，模型倾向于低估变化的幅度，并且预测质量因不同的机器学习任务而异。
-
字节跳动HarnessDev基准测试，评估LLM构建代理代码的能力
来自字节跳动Seed及其他机构的研究人员推出了HarnessDev，这是一个旨在评估LLM创建自身代理工具链能力的新基准。与固定工具链的传统基准不同，HarnessDev评估的是LLM自身生成的工具链代码的质量。初步结果表明，虽然LLM可以改进它们的工具链，但只有一部分改进能够泛化到不同的任务中，这表明完全自主改进的代理仍然是一个重大挑战。
-
开源PRAXIST AI系统以12倍的成本优势在MLE-bench上超越Claude Code
一个名为PRAXIST 的开源AI研究系统在MLE-bench上取得了比 Claude Code 基线更优异的结果。PRAXIST 以约3000美元的计算成本获得了49枚金牌，而 Claude Code 基线则以38000美元的成本获得了34枚金牌。该系统的成功归因于其继承失败实验证据而非仅仅分数的方法，从而将经验教训传递给后续的迭代。
-
新代理 DisCo 从 GitHub 仓库中提炼出 5,000 多个机器学习技能
研究人员开发了 DisCo，这是一种新颖的、由技能驱动的代理，旨在增强自主机器学习研究。DisCo 将 GitHub 仓库和研究论文中的操作知识提炼成紧凑、可重用的技能。这一过程产生了 AREX-Skill Library，其中包含源自 1,000 个机器学习仓库的 5,000 多个已验证技能。当与 GPT-5.5 主干集成时，与没有这些提炼技能的代理相比，DisCo 在 MLE-bench 和 PaperBench 等基准测试中表现…
-
ScienceFlow 智能体框架赋能长期人工智能研究
研究人员开发了 ScienceFlow，一个旨在使人工智能智能体能够进行长期机器学习研究和科学发现的新框架。该系统将研究组织成基于可执行工作区的片段，从而能够高效地探索和修订进展。ScienceFlow 利用新颖的可执行状态转移再锚定（ESTRA）机制来管理研究轨迹，并使用证据感知控制器进行资源分配。在包括 MLE-bench 在内的基准测试中进行的评估证明了 ScienceFlow 的有效性，在 24 小时预算内取得了 70.22%…
-
Google AI 推出 Science One Framework 以实现可验证的科学研究
Google AI 推出了 Science One Framework，这是一个旨在提高 AI 生成的科学研究可验证性的实验性系统。该框架及其附带的 CoE Audit 协议旨在消除幻觉，并确保 AI 撰写的论文中的主张得到可验证证据链的支持。该系统解决了当前自主研究流程中普遍存在的幽灵引用以及描述方法与实际代码之间不匹配等关键问题。
-
iML框架通过可执行、问题导向的代码增强AutoML
研究人员推出了一种新的代码驱动的自动化机器学习（AutoML）框架iML。iML通过专注于生成可执行、问题导向且广泛探索的代码，解决了当前AutoML系统的局限性。该框架采用多智能体方法，分析任务和数据，为跨各种机器学习方法的代码生成创建结构化蓝图，并通过接口检查和迭代调试确保可靠性。
-
FML-Bench 基准测试质疑机器学习研究中的算法进展
一个名为 FML-Bench 的新基准测试表明，近期在自动化机器学习研究（尤其是在代码编辑代理等领域）的进展，并非主要归功于算法的进步。在控制了模型能力和搜索预算等因素后，像 AIDE 这样的旧算法与现代系统表现相当。这表明观察到的进展很大程度上可归因于基础模型的改进和问题定义的转变，而非根本性的算法效率提升。
-
新的MLEvolve框架自动化机器学习算法发现
研究人员开发了MLEvolve，一个新颖的、基于LLM的多智能体框架，用于自动化机器学习算法发现。该框架通过解决信息孤岛、内存限制和分层控制问题，改进了现有方法。MLEvolve利用先进的搜索机制、回顾性记忆系统和自适应编码策略，在基准任务上取得了最先进的性能，甚至超越了专业方法。