iOSWorld

新的iOSWorld基准测试了AI代理在移动设备上的个性化能力

研究人员推出了iOSWorld，这是一个旨在评估AI代理在移动设备上个性化能力的新基准测试。该基准测试包含一个模拟的iOS环境，其中有26个相互关联的应用程序，可以存储用户特定的数据，如消息和财务记录。它包括133个任务，从单应用程序操作到需要记忆和个性化推理的复杂多应用程序场景。初步评估显示，即使是先进的模型也难以完成这些任务，最佳配置的整体准确率仅为52%。