RetailBench

新的基准测试 RetailBench 评估大型语言模型代理的长期决策能力

研究人员推出了 RetailBench，这是一个旨在评估大型语言模型代理在真实零售环境中进行长周期推理和决策制定能力的新基准测试。该基准测试模拟了超市在较长时期内的运营，要求代理管理定价、库存和客户反馈等各个方面。对七个大型语言模型的评估显示出显著的性能差异，只有少数模型能够完成整个模拟周期，并且在净资产和销售额方面都未能达到最优策略。