FDE-Bench

新的FDE-Bench基准揭示AI代理难以处理不明确的业务任务 · 跟踪2个来源

研究人员推出了FDE-Bench，这是一个旨在评估AI代理处理通常不明确的真实世界业务请求的能力的新基准。与从明确目标开始的现有基准不同，FDE-Bench侧重于需要交互式澄清和迭代优化的任务，模仿了前线部署工程师的过程。该基准包含49个跨优化和机器学习的案例，结果显示，即使使用18种不同的代理配置，达到的最高平均交付得分也仅为0.5510，远低于人类参考得分1.0，这表明代理在处理此类复杂任务的端到端交付方面仍然存在困难。