研究人员推出iOSWorld，这是一个旨在评估iOS设备上个性化移动代理能力的新型基准测试。该基准测试首次在26个不同的应用程序中整合了持久的用户身份，使代理能够对交易、消息和财务活动等个人数据进行推理。iOSWorld包含133个任务，涵盖了单应用操作、复杂的多应用场景和个性化挑战。初步评估显示，即使是前沿模型，整体准确率也仅为52%，其中多应用任务的准确率尤其低，为37%。该基准测试及其相关代码已作为开源发布。 AI
影响 该基准测试有望推动开发更具上下文感知能力和个性化的移动设备AI代理。
排序理由 该集群包含一篇介绍新基准测试的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
