Estefany Kelly Buchanan

新基准测试解决了过时的 AI 评估和资源分配影响问题

一篇新论文介绍了 Terminal-Bench 2.1，这是一个用于评估编码代理的更新基准测试，解决了“基准测试维护债务”问题，即随着模型改进，旧基准测试会过时。研究人员发现，原始 Terminal-Bench 2.0 中约有 30% 存在问题，而 2.1 版本中的修复将准确率提高了 10 多个百分点。研究还强调了资源分配（如时间限制）对代理性能的重大影响，表明这些参数是基准测试规范的关键组成部分。