研究人员推出了 iPrefBench，这是一个旨在评估在移动设备上运行的 AI 代理的个性化能力的新基准。该基准侧重于代理从用户活动历史中推断缺失信息的能力，并在必要时提出澄清性问题，而不是做出无根据的假设。iPrefBench 在 iOS 环境中包含 26 个应用程序中的 130 个未明确说明的任务，这些任务基于具有超过 3000 次过往活动事件的个性化设定。对七个领先代理的初步评估显示，它们的任务执行得分与其为用户个性化行动的能力之间存在显著差距，尤其是在请求必要信息方面。 AI
影响 该基准可以通过提供标准化的评估方法，加速开发更具个性化和用户感知能力的 AI 助手。
排序理由 该集群包含一篇详细介绍 AI 代理新基准的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
