EdgeBench
PulseAugur coverage of EdgeBench — every cluster mentioning EdgeBench across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
AI模型评估需要超越简单分数的更丰富工具集
当前主要依赖基准测试的AI模型评估方法，在准确评估能力和安全性方面存在不足。这些基准测试存在饱和、不可靠和易于被操纵等问题，属于执行错误。更根本的是，它们犯了范畴错误，提供了脱离上下文的分数，未能捕捉模型能力（尤其是在安全性方面）的真正含义或影响。该领域需要一个更丰富、更多样化的工具集来补充现有方法，并提供对AI系统更深入的理解。
-
ByteDance 推出 Seed STEM 科学家计划，探索 AI 在科学发现中的应用
ByteDance 的 Seed Edge 团队启动了 Seed STEM 科学家计划，旨在招募 100 名学者，共同探索 AI 如何加速科学发现。该计划将聚焦于现实世界的研究问题，为参与者提供计算资源和 AI 研究支持。此举是 Seed Edge 团队在人工智能前沿领域更广泛的长期研究努力的一部分。
-
字节跳动发现AI缩放定律，可加速智能体学习 · 跟踪1个来源
字节跳动研究人员发现了一个新的缩放定律，表明AI智能体通过与真实世界任务的互动，可以在三个月内将学习速度提高一倍。这项研究论文中详细介绍的发现，为超越增加数据和计算能力的传统方法来维持AI热潮提供了一条潜在途径。这些发现是使用EdgeBench开发的，EdgeBench是一个新的基准测试套件，旨在评估AI智能体在扩展的、超长期的任务中的表现。
-
EdgeBench论文揭示AI学习速度的对数-S形标度律
一项新的研究论文介绍了EdgeBench，这是一个用于研究AI代理在部署后如何从真实世界环境中学习的框架。对134个任务中38,000小时代理交互的分析揭示了性能的对数-S形标度律，R^2 = 0.998，并表明代理学习速度大约每三个月翻一番。研究人员正在发布51个任务和评估框架，以促进该领域的进一步研究。