SPIEval

新的SPIEval基准揭示大型语言模型处理分散式个人信息存在困难

一项名为SPIEval的新基准已被开发出来，用于评估大型语言模型（LLMs）作为移动助手处理跨应用程序分散式个人信息的能力。该基准包含250个任务和4000多条个人记录，揭示了当前大型语言模型存在的显著局限性，表现最佳的模型GPT-5.5 (xhigh)的准确率仅为57.3%。一个主要的失败点是，大型语言模型倾向于采信看似合理但错误的信息，而不是继续搜索以进行验证，这凸显了改进信息本地化和检索策略的必要性。