RetailBench

新的基准测试揭示大型语言模型（LLM）代理在复杂的购物和零售任务中存在困难

研究人员开发了新的基准测试来评估大型语言模型（LLM）代理在复杂、真实场景中的能力。ShoppingBench 和 EComAgentBench 专注于涉及隐藏意图、预算管理和多产品采购的复杂购物任务，揭示即使是 GPT-4.1 等先进模型也难以达到高成功率。同样，RetailBench 在长周期的零售管理模拟中评估 LLM 代理，突显了与最优策略相比，它们在决策和策略一致性方面存在显著差距。