PriceBench

新基准揭示LLM预订代理具有强烈且多样的偏好

一项名为PriceBench的新基准已被开发出来，用于评估大型语言模型（LLM）在充当预订代理时的价格、质量和品牌偏好。该基准使用纽约市的3,600个酒店任务，分析了来自8个提供商的28个LLM的预订选择。研究人员发现，能力更强的LLM表现出更强烈、更一致的偏好，而能力较弱的模型更容易受到列表顺序的影响或几乎随机地做出选择。研究还揭示了不同LLM在价格敏感性和价格/质量权衡方面存在显著差异，对于相同的任务，预订的每晚价格差异很大。