研究人员推出了HorizonBench,这是一个新的基准,旨在评估AI个性化助手在长期内适应用户不断变化的偏好的能力。与之前的基准不同,HorizonBench模拟了真实世界的对话,其中用户的偏好会因生活事件而改变,而无需用户明确说明这些变化。该基准包括一个包含4000多个问题的数据集和一个用于跟踪偏好转变的人类纵向偏好数据集。评估表明,当前的前沿模型在适应方面存在困难,经常选择过时的偏好,并且关于偏好变化的明确陈述能显著提高性能,这突显了在记忆过去信息和理解当前用户需求之间的差距。 AI
影响 突显了当前AI助手适应长期用户偏好变化的关键差距,可能推动对更动态个性化研究的兴趣。
排序理由 该集群包含一篇研究论文,详细介绍了用于评估AI能力的新基准和数据集。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →