Async-RBench

新的基准测试 Async-RBench 评估 LLM 代理的异步任务处理能力

研究人员推出 Async-RBench，这是一个旨在评估大型语言模型 (LLM) 代理处理异步任务执行能力的新基准测试。该基准测试包含 200 个跨越八种场景的任务，重点关注代理如何管理可能在处理前改变任务状态的传入结果。一个关键指标，动态重新规划得分 (DRS)，同时评估响应过程和结果，揭示当前代理在异步交付方面存在困难，与批量交付相比成功率较低。