实体 MBABench-2.0

MBABench-2.0

PulseAugur coverage of MBABench-2.0 — every cluster mentioning MBABench-2.0 across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_321760 · Oct 26 · 04:00

新基准揭示AI代理在构建复杂金融电子表格方面存在困难

一项名为MBABench-2.0的新基准已被推出，用于评估AI代理从头开始构建金融电子表格的能力。该基准包含101项任务，其中最复杂的任务估计需要经验丰富的人工建模师花费30多小时。与更简单的基准不同，MBABench-2.0根据12个类别中的129个标准评估电子表格，侧重于可读性和可维护性等质量方面，而不仅仅是准确性。对8个模型中超过20个代理进行的初步评估显示，当前AI能力存在显著差距，表现最好的代理仅达到16%的通过率。