实体 AGENTCHAOSBENCH

AGENTCHAOSBENCH

PulseAugur coverage of AGENTCHAOSBENCH — every cluster mentioning AGENTCHAOSBENCH across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_205906 · Aug 18 · 04:00

新的基准 AGENTCHAOSBENCH 突出了 LLM 代理故障检测的挑战

研究人员推出了 AGENTCHAOSBENCH，这是一个旨在检测和精确定位基于 LLM 的代理系统中运行时故障的新基准。该基准数据集包含 275 个经过清理的执行跟踪，其中 250 个故障执行展示了十种不同类型的操作故障，另外还有 25 个无故障的对照跟踪。使用包括先进的 DeepSeek-v4-pro 模型在内的零样本 LLM 基线进行的初步实验表明，在准确识别故障类型及其位置方面存在重大挑战，最高准确率仅为 24.8%，故障类型和…