研究人员推出MOSAIC,这是一个旨在评估对话式智能体长期记忆和跨模态推理能力的新基准。与通常提供单一分数或侧重于有限模态的现有基准不同,MOSAIC使用基于涉及文本、图像、视频和音频的广泛历史的923个问题的数据集。该基准旨在诊断信息表示、检索和传递方面的失败,特别强调了模态依赖性损失以及智能体在适当情况下选择不回答所面临的挑战。 AI
影响 该基准可以通过提供跨不同数据类型的记忆和推理的更细致的评估来推动对话式AI的改进。
排序理由 该集群描述了一个用于评估AI能力的新学术基准。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →