Sarvex Jatasra

研究人员发现，AI代理性能指标因忽略失败运行而存在缺陷

一位研究人员发现，在衡量AI模型性能方面存在一个关键缺陷，尤其是在代理工作方面。问题在于仅根据成功运行来报告分数，而忽略了被放弃或未衡量的任务，这导致性能指标虚高。这种疏忽意味着当前的基准可能代表的是下限，而不是代理真实成本和能力的准确估计。研究人员提出了一种解决方案，包括为每次调用打上结果标签，并公布每个站点的成本以及已完成任务的成本，以提供更透明、更准确的评估。