ComboShoppingBench

新的基准 ComboShoppingBench 评估 LLM 代理执行复杂购物任务的能力

研究人员推出了 ComboShoppingBench，这是一个旨在评估大型语言模型 (LLM) 代理在复杂、预算受限的购物场景中的能力的新基准。该基准模拟了真实的组合购物任务，要求代理考虑商品兼容性、可用性、商店政策、配送费用、优惠券和预算限制。实验表明，即使是先进的 LLM 代理在处理这些任务时也面临困难，这表明在具有约束意识的购物能力方面仍有很大的改进空间。