IntentDelta

新的IntentDelta基准揭示AI代理难以应对不断变化的用户需求

研究人员推出了IntentDelta，这是一个新的基准，旨在评估语言模型代理在复杂任务中适应不断变化的用户意图的能力。该基准包含WebShop和TravelPlanner环境中的638个轨迹和3,766个回合，评估代理恢复用户意图和执行适当操作的能力。目前代理在TravelPlanner中的平均意图恢复率为33.1%，在WebShop中为44.7%，在区分硬性约束和软性偏好以及将恢复的意图转化为成功的任务执行方面面临重大挑战。