ChainWorld

ChainWorld框架在复杂的、多步骤桌面任务上测试AI代理

一篇新的研究论文介绍了ChainWorld，一个旨在评估AI代理在复杂、长时桌面任务上的框架。与之前专注于单一、原子操作的评估不同，ChainWorld将这些原子任务组合成多步骤工作负载。研究发现，当前的AI代理在处理这些扩展任务时遇到困难，即使任务按顺序呈现，完成率也低于31%。研究突出了单轮和多轮评估之间不同的失败模式，表明AI代理在精确性和会话管理方面存在挑战。