Tommaso Bendinelli

TraceBench 框架评估 LLM 智能体在时间序列根因归因中的表现

研究人员推出 TraceBench，一个新颖的基于仿真的框架，旨在严格评估 LLM 智能体在时间序列数据根因归因方面的性能。该框架通过模拟物理动力学系统来生成任务，要求智能体识别系统参数是否被更改以及更改了哪些参数。使用 TraceBench 对四个 LLM 智能体进行的初步评估显示，智能体在具备领域上下文时表现更好，并且倾向于进行数值而非视觉数据分析。此外，与生成用于标记的 Python 脚本相比，智能体在直接提交预测时更成功。