新基准揭示LLM预订代理具有强烈且多样的偏好

一项名为PriceBench的新基准已被开发出来，用于评估大型语言模型（LLM）在充当预订代理时的价格、质量和品牌偏好。该基准使用纽约市的3,600个酒店任务，分析了来自8个提供商的28个LLM的预订选择。研究人员发现，能力更强的LLM表现出更强烈、更一致的偏好，而能力较弱的模型更容易受到列表顺序的影响或几乎随机地做出选择。研究还揭示了不同LLM在价格敏感性和价格/质量权衡方面存在显著差异，对于相同的任务，预订的每晚价格差异很大。 AI

影响 揭示了LLM偏好如何影响购买决策，并强调了对预订代理进行逐个LLM评估的必要性。

排序理由 该集群包含一篇介绍LLM行为评估新基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• LLM
• New York City
• PriceBench
• ScienceCast

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →