Sharad Agarwal

新的基准测试 WorkflowPerturb 对多智能体 LLM 评估指标进行压力测试

研究人员推出了一款名为 WorkflowPerturb 的新基准测试，旨在对多智能体 LLM 系统的评估指标进行压力测试。该基准测试包含超过 4,900 个黄金工作流和近 45,000 个扰动变体，涵盖三种类型的更改：缺失步骤、压缩步骤和描述更改。目标是提高指标分数的校准性和可解释性，使工程师能够更好地评估生产环境中更改的安全性。