root-cause attribution

TraceBench 框架评估 LLM 智能体在时间序列根因归因中的表现

研究人员开发了 TraceBench，一个新颖的基于仿真的框架，旨在系统地评估 LLM 智能体在时间序列数据根因归因方面的性能。该框架通过模拟物理动力学系统来生成受控任务，使智能体能够识别系统参数是否被更改以及是哪些参数被更改。使用 TraceBench 的评估显示，LLM 智能体受益于领域上下文，并且倾向于依赖数值输出而非可视化，在生成用于标记的 Python 脚本任务上表现不如直接提交预测。