一项名为SPIEval的新基准已被开发出来，用于评估大型语言模型（LLMs）作为移动助手处理跨应用程序分散式个人信息的能力。该基准包含250个任务和4000多条个人记录，揭示了当前大型语言模型存在的显著局限性，表现最佳的模型GPT-5.5 (xhigh)的准确率仅为57.3%。一个主要的失败点是，大型语言模型倾向于采信看似合理但错误的信息，而不是继续搜索以进行验证，这凸显了改进信息本地化和检索策略的必要性。 AI
影响 强调了大型语言模型在个人数据管理方面的关键能力差距，为开发更可靠的移动AI助手指明了未来的研究方向。
排序理由 该集群描述了一个新的学术基准和对大型语言模型的评估，符合研究类别。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2608.10692v1 Announce Type: cross Abstract: Large language models (LLMs) are increasingly deployed as mobile assistants, where a key challenge is leveraging personal information scattered across multiple applications (apps) to complete user instructions. However, due to the…
SPIEval benchmarks mobile assistant LLMs on scattered personal data tasks, revealing major gaps in information retrieval and verification.